Будущий певец и исполнитель родился 3 декабря 1950 года в семье известного филолога Левона Ахвердяна. Его мать, Сирануш Аюнц — театральный критик. В 1975-м Ахвердян окончил Ереванский государственный театральный институт. К тому времени его авторские песни уже были достаточно известны, в частности благодаря работе на Центральном телевидении, где Ахвердян ставил музыкальные телеспектакли с песнями собственного сочинения. Оглушительный успех имела уже первая постановка, «Мельница дьявола». Спектакль оказался знаковым не только для него, но и для исполнителя главной роли, актера и друга барда, Микаэла Котанджяна. Кроме того, это была первая в истории армянского телевидения цветная передача. Впрочем, сама запись до наших дней не сохранилась, остались лишь песни, которые Ахвердян исполняет на концертах.
В 1976-м несколько песен Ахвердяна прозвучали в анимационной ленте Ованнеса Далакяна «Найденный сон». Культовыми стали и мультфильм, и песня «Снег», открывающая ее.
Параллельно с работой на ТВ и в театре Ахвердян гастролировал по стране и фактически собственными силами закладывал основы авторской песни в Армении. При этом первая запись («Песни любви и надежды») случилась только в 1985-м, в Париже. Еще несколько альбомов Ахвердян записал уже в 1990-х.
Самые известные песни Ахвердяна посвящены его родному Еревану, а несколько дисков он даже выпустил не под своей фамилией, а как Рубен Ереванци (т.е. «Ереванец»). Еще в советские годы он имел репутацию бескомпромиссного борца с режимом. Отсюда целый ряд социально-политических песен и активное участие в митингах за независимость в конце 1980-х. А в 1990-х самым громким политическим высказыванием Ахвердяна стала песня «Президентские выборы», которая стала еще более резкой и колючей благодаря клипу, снятому Робертом Саакянцом.
В последние годы певец продолжает активно гастролировать, но новые песни пишет не часто. Зато есть старые, проверенные временем и любовью нескольких поколений.
В годы независимости Армении у барда обнаружилось тяжелое заболевание печени – власти Армении организовали сбор пожертвований для отправки Рубена на лечение за границу. После лечения во Франции певец вернулся на родину и занялся любимым творчеством.
В настоящее время Рубен Ахвердян помимо творческой, активно занимается общественной деятельностью.
О себе певец говорить не любит, лишь говорит: «слушайте мои песни и ищите меня в них».