Первые упоминания об Ани в письменных источниках относятся к V веку. Армянские историки Егише и Лазарь Парпеци описывали его как крепость на холме, которая принадлежала роду Камсаракан (одна из ветвей династии Аршакуни). Предположительно, крепость получила свое название от языческого поселения Ани-Камах. Возвышенность, на которой стояла крепость, находится между ущельем реки Ахурян и долиной Бостанлар.
К началу IX века земли Камсараканов, включая Ани, попали во владения династии Багратуни. Великие князья (ишханац ишханы) из этого рода несколько раз переносили столицу своего царства: из Баграна в Ширакаван, затем в Карс. В 961 году Ашот III сделал столицей Ани, и все армянское царство получило название Анийского. В 992 году сюда переехал католикос. Город рос и активно развивался, в X веке его население достигало 100 тысяч человек.
Ани называли городом 1001 церкви из-за огромного количества расположенных там христианских храмов. Церкви и другие здания — дворцы, защитные сооружения — говорят о том, что в Ани в то время работали одни из лучших архитекторов и художников мира.
Пик процветания Ани пришелся на правление Гагика I. После его смерти в 1020 году началась борьба за власть между его наследниками, в которой участвовала и Византия, желавшая присоединить Ани к своей империи. В течение XI века византийская армия несколько раз безуспешно пыталась взять город. Тем не менее, внутри самого Ани были силы, желавшие присоединения к Византии, и в конце концов им удалось победить. В результате интриг город сдался византийскому императору в 1045 году, и там стал править византийский губернатор.
Арабский историк Сибт ибн аль-Джаузи, живший в XIII веке, утверждает, что к середине XI века население Ани достигало миллиона человек (впрочем, другие источники говорят о 100-200 тысячах, что тоже было огромной цифрой для того времени). В 1064 году город разорили турки, убив и захватив в плен почти все его население. В XII веке армянский княжеский род Закарянов отстроил Ани, город вновь расцвел и стал центром армянской культуры.
Однако с XIII века на город вновь обрушились несчастья: в 1226 году его разорило монгольское войско, затем он был практически уничтожен землетрясением в 1319 году. В конце XIV века Ани завоевал Тамерлан. Постепенно город пустел, католикос переехал в Эчмиадзин, и со временем Ани, в XVI веке уже входивший в Османскую империю, вновь превратился в небольшую крепость. В XVIII веке город окончательно опустел.
Ныне развалины Ани находятся в Карской провинции Турции. Это место представляет огромный интерес для археологов, но, поскольку Турция не слишком заботится о сохранении культурного наследия других народов, Фонд мирового наследия внес Ани в список памятников на грани гибели.