В 1875 г. окончил Московскую консерваторию у Н. Г. Рубинштейна (фортепиано) и П. И. Чайковского (композиция) с золотой медалью. Выступал в концертах как пианист-солист и ансамблист. Первый исполнитель многих фортепианных произведений Чайковского (Второго и Третьего фортепианных концертов, доработал последний после смерти композитора), исполнитель собственных сочинений. В 1878–1905 гг. работал в Московской консерватории (с 1881 г. — профессор, в 1885–89 гг. — директор), где вел классы гармонии, инструментовки, фортепиано, композиции, полифонии, музыкальной формы. В 1905 г. покинул консерваторию в знак протеста против консервативных методов руководства. Продолжал заниматься с учениками частным образом. Был одним из основателей и педагогов Народной консерватории (1906), участвовал в работе Пречистенских рабочих курсов для рабочих, изучал музыкальный фольклор.

Убежденный последователь классики, Танеев предвосхитил многие тенденции музыкального искусства XX в. В своих сочинениях он тяготел к нравственно-философской проблематике. Такова, например, его единственная опера «Орестея» (1894, по Эсхилу) — образец претворения античного сюжета в русской музыке. Его камерно-инструментальные произведения (трио, квартеты, квинтеты) принадлежат к лучшим образцам этого жанра в русской музыке. Один из создателей лирико-философской кантаты в русской музыке («Иоанн Дамаскин», «По прочтении псалма»). Возродил популярный в отечественной музыке XVII–XVIII вв. жанр — хоры a cappella (автор более 40 хоров). В инструментальной музыке особое значение придавал интонационному единству цикла, монотематизму (4-я симфония, камерно-инструментальные ансамбли).

Создал уникальный труд — «Подвижной контрапункт строгого письма» (1889–1906) и его продолжение — «Учение о каноне» (конец 1890-х гг. — 1915 г.).

Как педагог, Танеев добивался повышения профессионального музыкального образования в России, боролся за высокий уровень музыкально-теоретической подготовки учащихся консерватории всех специальностей. Создал композиторскую школу, воспитал многих музыковедов, дирижеров, пианистов (продолжая фортепианные традиции Н.Рубинштейна). Среди учеников: С. Рахманинов, А. Скрябин, Н. Метнер, Р. Глиэр.

Был одним из первых эсперантистов в России; на языке эсперанто написаны несколько романсов, на нем же Танеев на первых порах вел свой дневник.