Nach dem humanistischen Gymnasium erwarb er das Primarlehrerpatent am Lehrerseminar Rorschach. An der Akademie für Schul- und Kirchenmusik Luzern schloss er in Kirchenmusik, Schulmusik I und II mit Schwerpunktfach Dirigieren ab. Später studierte er an der Universität Zürich Musikwissenschaft, Kirchengeschichte und Didaktik des Mittelschulunterrichts. 

Zwischen 1988 und 2003 war er Chorleiter in Wil (Kirche St. Peter). Von 1982 bis 1994 unterrichtete er am Oberseminar in Zürich, anschliessend an der Kantonsschule Wattwil. Er ist der Leiter des Chores der Kirche St. Nikolaus in Frauenfeld und des Kirchenchor St. Josef in Zuzwil-Züberwangen.

Er hat einen Lehrauftrag am Konservatorium Claudio Monteverdi in Bozen und hat so interimistisch die Leitung des Bozner Domchores übernommen. 

Nachdem sein Vorgänger Herbert Paulmichl unseren Chor über 47 Jahre geprägt hat, ist dies sicher eine schwierige Aufgabe. Aber jedem Anfang liegt ein Zauber inne und Karl Paller gibt dem Chor wichtige neue Impulse.