Когда Серго был еще ребенком, его семья, спасаясь от резни, бежала в Кисловодск. Там будущий чемпион провел 10 лет, с подросткового возраста берясь за разную тяжелую работу, чтобы помочь семье.
В 17 лет Амбарцумян перебирается в Армению и там, в обществе «Динамо», начинает заниматься спортом. Его первым тренером был Григорий Симонян. В 1930-е годы Амбарцумян становится чемпионом Армении и Закавказья, трижды — чемпионом СССР, а также чемпионом мира. В этот период времени Серго установил пять мировых рекордов.
В 1939 году он исполнил роль Давида Сасунского в представлении, поставленном в честь 1000-летия армянского эпоса. В 1947 году Амбарцумян участвовал во Всесоюзном параде физкультурников. Силач нес огромную штангу с двумя полыми шарами, в которых сидели 22 мальчика: в нужный момент дети выскочили из шаров и сыграли импровизированный футбольный матч.
После войны Амбарцумян продолжил заниматься спортом и участвовать в соревнованиях, однако перенесенный микроинфаркт поставил крест на дальнейшей карьере в тяжелой атлетике.
С именем Серго Амбарцумяна связано немало легенд. Согласно одной из них, заняться спортом его побудил нарком Армянской ССР Хачик Мугдуси. В 1930 году Амбарцумян работал автомехаником в гараже НКВД в Ереване и однажды на глазах у наркома приподнял грузовик, чтобы сменить на нем покрышки. Согласно легенде, впечатленный Мугдуси отправил его заниматься в «Динамо».
По другой легенде, однажды Амбарцумяна вызвал к себе Иосиф Сталин и поручил ему обойти рекорд немецкого штангиста Иозефа Мангера. В результате в 1938 году Амбарцумян набрал в сумме классического троеборья 433,5 килограмма, превысив рекорд Мангера на 8,5 килограммов.
Серго Амбарцумян умер в Москве в апреле 1983 года.