Большинству Пахельбель известен как автор Канона ре мажор, который всё же не передает музыкальный стиль композитора в целом. Также хорошо известны Чакона фа минор, Чакона ре минор и Токката до минор для органа, а также клавирная сюита (арии с вариациями) «Гексахорд Аполлона» (Hexachordum Apollinis).

Пахельбель родился в Нюрнберге и был крещен 1 сентября 1653 г. Первоначальное музыкальное образование ему дал Генрих Швеммер, кантор церкви Св. Себальда, и Георг Каспар Веккер, органист в той же церкви. В 15 лет Иоганн поступил в Альтдорфский университет. Во время обучения он работал органистом в одной из церквей. Однако он вынужден был бросить университет, не проучившись и года, из-за финансовых затруднений.

Позже Пахельбель стал учеником заведения Gymnasium poeticum в Регенсбурге, где дирекция школы, впечатленная способностями Иоганна, разрешила ему изучать музыку вне гимназии под руководством Каспара Пренца, ученика Иоганна Каспара Керла. В 1673 г. Пахельбель становится вторым органистом собора Св. Стефана в Вене.

Проведя несколько лет в Вене, в 1677 г. Пахельбель переехал в Эйзенах, где он получил должность придворного органиста Иоганна Георга, герцога Саксен-Эйзенахского. В Эйзенахе он сблизился с семьей Бахов, став близким другом Иоганна Амброзия Баха, отца Иоганна Себастьяна Баха, и обучая его детей. Дружба между Бахами и Пахельбелем сохранилась и после переезда последнего в Эрфурт: Пахельбель стал крестным дочери Иоганна Амброзия, Иоганны Юдифи, и обучал его сына Иоганна Кристофа.

В июне 1678 г. он получил должность органиста в эрфуртской Предигеркирхе, где проработал 12 лет. Заслужив репутацию совершенного органиста и композитора, Пахельбель стал одним из самых известных немецких композиторов во время работы в Эрфурте (возможно, потому, что ему по должности приходилось сочинять хоральные прелюдии и другие произведения).

Во время пребывания в Эрфурте Пахельбель дважды вступал в брак. Первой его женой (свадьба состоялась 25 октября 1681 г.) стала Барбара Габлер, но она умерла вместе с сыном во время чумы 1683 г. Во второй раз Пахельбель женился на Юдифи Дроммер (24 августа 1684 г.). У них родилось 5 сыновей и 2 дочери. Двое из сыновей Пахельбеля, Вильгельм Иероним и Карл Теодор, также стали композиторами органной музыки, а еще один сын, Иоганн Михаил, стал мастером музыкальных инструментов. Одна из его дочерей, Амалия, заслужила признание как художник и гравер.

Бывший учитель Пахельбеля и органист церкви Св. Себальда Георг Каспар Веккер умер 20 апреля 1695 г. Городские власти настолько хотели, чтобы вакантное место занял Пахельбель, что, вопреки обычаю, не устраивали конкурса, а направили ему официальное приглашение. Пахельбель согласился и вернулся в Нюрнберг летом 1695 г.; здесь он прожил весь остаток жизни.

Пахельбель написал более 200 органных сочинений, как духовных, так и светских, используя большинство существующих к тому моменту музыкальных форм. Его произведения для клавира включают сюиты и вариации для клавесина. Пахельбель сочинял и вокальную музыку: арии, магнификаты, мотеты, концерты. Большинство камерных произведений написано в форме партитур.

Основная часть органных произведений Пахельбеля состоит из литургических произведений: это около 70 хоралов и хоральных прелюдий и около 95 магнификатов.