Живописец родился в Западной Армении в семье землевладельца. Рисовать начал еще в детстве и долгое время учился этому самостоятельно. Будущий художник не остался равнодушен к освободительной борьбе армянского народа против угнетения со стороны Османской империи. В начале 1890-х за участие в народно-освободительном движении был приговорен турецким правительством к смерти и бежал в Персию, а затем в Россию.
Здесь он начал профессионально учиться живописи в Рисовальной школе Общества поощрения художеств в Санкт-Петербурге у Льва Дмитриева-Кавказского. В 1999 году Терлемезян уехал во Францию и поселился в Париже. Вплоть до 1904 года учился в Академии Жюльена. Тогда же художник начал выставляться. В частности, на выставке в Мюнхене Терлемезян получил золотую медаль за картину «Притвор Санаитского монастыря».
Из Парижа художник переехал в Эривань. В этот период он работал над росписями в Эчмиадзине, в дальнейшем преподавал в художественных училищах в Тифлисе.
В 1908 году Терлемезян возвращается в Париж, затем селится в Константинополе. Художник много путешествует — по Европе, Азии, Африке. К 1914 году он оказывается в Ване и становится одним из лидеров местного армянского сопротивления, принимает участие в антитурецком восстании.
В 1916 году Терлемезян принял участие в основании Союза художников-армян в Тифлисе и его филиала в Ростове-на-Дону. В 1919 году в Париже состоялась его персональная выставка, он также выставлялся в послереволюционной России.
В 1920 году Терлемезян эмигрировал в США, однако спустя восемь лет вернулся в Армению по приглашению советских властей. В 1935 году художник, все это время активно выставлявшийся, получил звание народного художника Армянской ССР.
Фанос Терлемезян — один из крупнейших армянских художников XX века. Он писал пейзажи, натюрморты, портреты. Терлемезян сформировался под влиянием импрессионистов, он тонко работал со светом, его картины отличаются сдержанными цветовыми решениями. Несмотря на то, что большую часть жизни художник провел вне Армении, его творчество во многом посвящено именно ей.
Картины его кисти хранятся в Государственной картинной галерее в Ереван, в Третьяковской галерее в Москве, во многих других музеях и частных коллекциях. В Армении работает художественное училище имени Терлемезяна.