Точное время основания города, который находится на востоке современной Турции, неизвестно. По некоторым сведениям, это произошло еще в IV веке, однако упоминаться в армянских и византийских летописях он начал уже в IX веке. К этому времени Карс был крупным торговым и ремесленным центром, через него проходили торговые пути в разные страны.
В 928 году Карс становится столицей армянского царства Багратидов и остается ею до 961 года, когда царь Ашот III переносит столицу в Ани. Карс же до XI века оставался столицей Карского (или Ванандского) царства, которым управляли представители младшей ветви Багратидов.
В середине XI века Карское царство вошло в состав Византии, а позднее было завоевано турками-сельджуками. В 1206 году эту территорию отвоевал княжеский род Закарянов, после чего она вошла в состав Грузинского царства. В XVIII веке Карс захватила Османская империя.
В Карсе стоит единственная сохранившаяся армянская церковь – Сурб Аракелоц (церковь Святых апостолов). Церковь была построена в X веке как кафедральный собор для царя Аббаса I из династии Багратидов. После захвата города турками-сельджуками, в 1579 году храм преобразовали в мечеть и дали новое название – Кюмбет-Джами. Как и сам Карс, Сурб Аракелоц переходил из рук в руки и был то мечетью, то Русской православной церквью, то музеем. На данный момент Сурб Аракелоц снова мечеть. Преобразование церкви в мечеть заключалось в замене креста на полумесяц и установке громкоговорителя у основания купола. Все остальное не тронули – внутри здания можно обнаружить кресты, вырезанные в стенах и фигуры двенадцати апостолов на куполе. Единственное, чего нельзя найти – армянские письмена, характерные для эпохи Баградитов – скорее всего они были уничтожены турками.
В XIX веке русские войска трижды брали Карс во время русско-турецких войн, однако первые два раза город возвращали Турции по условиям мирных договоров. Лишь в 1878 году Карс вошел в состав Российской империи и оставался там вплоть до ее крушения в 1917 году. По условиям Брестского договора (сепаратный договор, который подписали большевики, чтобы выйти из Первой мировой войны) в 1918 году Карс вновь перешел к Турции. После поражения в турок в Первой мировой войне город отдали Армении, но ненадолго. Уже в 1921 году армянские власти под давлением советской России вынуждены были подписать Карский договор, по которому город вместе с горой Арарат отошел Турции.