Будущий живописец родился в 1880 году в городке Новый Нахичевань (Нор-Нахичевань, Нахичевань-на-Дону) — сейчас это один из районов Ростова-на-Дону — в большой армянской семье. У мальчика было шестеро братьев и три сестры, Мартирос был седьмым ребенком. Детство художника прошло на хуторе, где его родители владели небольшим участком земли.
Мартирос получил воспитание в армянском духе, благо в Нор-Нахичевани жила большая армянская община, пел в церковном хоре, а одним из его школьных учителей был будущий католикос всех армян Геворг VI. Он свободно говорил и по-армянски, и по-русски, закончил армяно-русское городское училище.
Рисовать Сарьян начал не слишком рано, по собственным его воспоминаниям, он заинтересовался иллюстрациями в 15-летнем возрасте, когда работал в конторе по распространению журналов и газет. Но уже в 17 Мартирос поступает в Московское училище живописи, ваяния и зодчества. Ему очень повезло с учителями: в их числе оказались Валентин Серов, Константин Коровин и другие выдающиеся художники. Время летних каникул Сарьян посвящал путешествиям по Кавказу и Закавказью, тогда он и познакомился с видами родной Армении. Как будет он вспоминать позднее, на пути его становления в качестве художника «самой главной вехой и точкой опоры стала родная Армения с ее неповторимыми пейзажами и всем колоритом быта ее народа. Я избрал эту дорогу. Никакой другой путь не привлекал меня больше, чем этот». Цель своего творчества Сарьян сформулировал как «выразить сущность загадочного Востока».
Первые армянские пейзажи, написанные Сарьяном, относятся к этому периоду, 1902-1903 годам: это «Макраванк», «Гора Арагац», «Буйволы. Севан», «Вечер в саду», «В армянской деревне».
В 1907 году картины из цикла «Сказки и сны» были показаны на выставке молодых художников «Голубая роза» в Москве. И критики, и зрители приняли выставку неоднозначно. Тем не менее, в последующие годы творчество этих художников — Арапова, Кнабе, Крымова, Рябушинского, Сапунова, Сарьяна и других — сформировало новое художественное течение в русском искусстве. Художники продолжали устраивать совместные выставки — «Венок» и «Золотое руно». Сарьян и его товарищи выставлялись вместе с Матиссом, Ван Гогом, Роденом.
Постепенно насмешки, которыми первоначально было встречено творчество Сарьяна, сменились на признание, за которым последовала слава. Еще до революции армянский художник успел занять видное место в русском изобразительном искусстве. Сарьян продолжает путешествовать по Армении, Персии, Египту, посещает Константинополь. По следам этих поездок рождаются картины «Улица. Полдень», «Константинопольские собаки», «Финиковая пальма», «Армянка», «Цветы Калаки». Персидской теме у Сарьяна посвящен отдельный цикл. Большое впечатление на художника произвело и древнее египетское искусство. Следующим периодом его творчества становится парижский.
Писал Сарьян и портреты, но в своеобразной манере: человек, которого изображал художник, всегда становился частью какой-то сложной композиции, образ человека создавался на символическом фоне. Он пишет и по мотивам фольклора, народного декоративного искусства, отдельное место здесь занимают хачкары. Сарьян всерьез интересуется и армянской архитектурой, спасением старинных памятников.
Революция застала Сарьяна в Ростове-на-Дону, а в 1921 году он по приглашению властей Советской Армении вместе с семьей переезжает в Ереван. Там Сарьян, которому в то время было чуть за 40, развивает кипучую деятельность: создает Музей археологии, этнографии и изобразительного искусства, ассоциацию художников, общество охраны памятников старины, художественную школу. Сарьян рисует герб Армении и занавес первого государственного театра. Творчество Сарьяна стало одним из символов расцвета армянского искусства, несколько веков пребывавшего в упадке.
Кроме того, в эти годы Сарьян активно выставляется в Европе, знакомя ее с армянскими пейзажами, искусством и культурой своей страны. Тогда же картина Сарьяна «Горы» попадает в Третьяковскую галерею. Поэт и писатель Аветик Исаакян, попав на выставку Сарьяна в Венеции, называет того «певец Армении».
В 1926-1928 годах художник вновь живет в Париже. «Мне надо было как-то разобраться в своих собственных возможностях и устремлениях. Я работал в Париже с упоением, что было сил. Когда в январе 1928 года парижская галерея Жирар (на улице Эдуарда VII) устроила персональную выставку моих работ, она включала тридцать шесть холстов. Почти все эти холсты были написаны в Париже на протяжении 1927 года. Кроме того, несколько моих картин, тогда же исполненных, уже принадлежали частным владельцам, оказались вне Парижа и на выставку не попали. А ведь обычно я писал не более десяти, редко пятнадцати композиционных полотен в год. Лишь в 1910-1912 годах я сделал много больше. Но тогда я был в каком-то самозабвении. И в 1927 году, пожалуй, тоже». Примечательно, что, находясь в Париже, художник продолжал писать на армянские темы, почти не отвлекаясь на собственно парижские мотивы.
Увы, но большинство написанных в Париже картин погибли из-за пожара на корабле, который их перевозил. Сохранились лишь фотографии сгоревших полотен.
«Я – монументалист. Дайте мне солнце, цвет, свет, общий характер природы, людей, типажа! Монументальность, обобщенность - в крови моего искусства. Будучи в Париже, искренне увлекаясь импрессионистами, я это понял - несколько по контрасту – с особой силой. Мои художественные убеждения как бы воспротивились моим собственным попыткам писать более детально и – если можно так выразиться – «рассыпчато». Тяга к обобщенности сохранилась и победила», — так описывал живописец свой стиль, свое художественное мышление. Отдельной темой его творчества остаются цветы — цветы работы Сарьяна не спутать ни с какими другими.
Вернувшись в СССР, художник продолжает выставляться в Ереване и Москве, а также занимается иллюстрированием книг армянских писателей и созданием декораций.
После окончания Второй мировой войны Сарьян пишет один из самых больших и известных своих натюрмортов — «Армянам — бойцам, участникам Великой отечественной войны. Цветы».
Сарьян прожил долгую жизнь — 92 года. До глубокой старости он не просто продолжал писать, бесконечно искал все новые и новые подходы в искусстве. «К концу моей жизни, если считать, что в мои годы уже надо посмотреть, что сделал, оправдал ли перед своей совестью, перед искусством, которому посвятил всю свою жизнь, начиная с пятнадцатилетнего возраста, - я почувствовал, что я только наметил путь и только должен начать свою работу. Так много открылось передо мной. Так много прекрасного, мудрого, непостижимого, как в самой природе».