Военную службу Ованес Баграмян (Հովհաննես Բաղրամյան) начал еще в 1915 году, восемнадцатилетним добровольцем на Кавказском фронте. После революции 1917 года в составе войск независимой Армении Баграмян принимал участие в боевых действиях против турок, в том числе в Сардарапатском сражении — знаменитой победе войск Первой республики над превосходящими силами неприятеля, благодаря которой, как принято считать, Армения избежала полного уничтожения. В 1920 году Баграмян перешел на сторону большевиков и участвовал в гражданской войне в составе 11-й Красной армии. Окончив курсы усовершенствования командного состава, около восьми лет командовал полком, потом был на оперативных штабных должностях.

Баграмян (крайний справа в первом ряду) на курсах ККУКС, 1925 год
Начало Великой Отечественной полковник Баграмян встретил в должности начальника оперативного отдела штаба Юго-Западного фронта. Уже с июля 1942 он командовал армией, с ноября 1943 — войсками целого фронта (1-го Прибалтийского).
Летом 1944 года Баграмян сыграл ключевую роль в планировании и осуществлении одной из крупнейших войсковых операций в истории человечества — операции «Багратион». По его настоянию основной удар войск фронта был нанесен через открытую болотистую местность, откуда противник совершенно не ожидал удара. План сработал: буквально за считанные недели советские войска разгромили группу армий «Центр» и освободили всю Белоруссию и значительную часть Польши и Прибалтики. Не давая врагу опомниться, фронт Баграмяна дошел от Витебска до Литвы. Звание маршала Баграмян получил уже после войны, в 1955 году.

Скончался он 21 сентября 1982 года в Москве, урна с его прахом была захоронена в Кремлевской стене на Красной площади. В Ереване его именем назван один из главных проспектов города, на котором, перед входом в станцию метро «Маршал Баграмян» стоит памятник ему работы Норайра Карагезяна.