Родился в Берлине 15 января 1915 года. Он вступил в Ваффен-СС в 1935 году и вскоре дослужился до роттенфюрера СС. Русские солдаты не раз описывали особую жестокость армии СС, среди которых сожжение деревень, убийство, насилие женщин и детей. Пайпер как последователь Адольфа Гитлера яростно следовал его интересам продолжая изуверство даже над мирным населением. Его наиболее известное командование было, без сомнения, боевой группой "Peiper" в ходе операции "Wacht am Rhein" (Стража на Рейне). Пайпер был повышен до штандартенфюрера СС. С этим званием он был самым молодым полковником в Ваффен-СС, возглавляющим 1-й танковый полк СС.