Er besuchte das Gymnasium in Gleiwitz und bestand nach der Flucht aus Oberschlesien 1949 das Abitur in Regensburg. Am 27. August 1950 trat er in den Kapuzinerorden ein und legte das Ordensgelübte ab. Nach dem Theologiestudium empfing er am 29. Juni 1955 die Priesterweihe in Eichstätt und widmete sich bis 1956 der Seelsorge der Pilger in Altötting. Als Kaplan arbeitete Pater Caspar bis 1961 in München in der Pfarrei Sankt Joseph, im Anschluss war er in der Diözesanseelsorge in Augsburg tätig. In dieser Zeit sang der Kapuzinermönch (der singende Pater) religiöse Chansons.

Er nahm mehrere Schallplatten mit Eigenkompositionen auf und ging mit diesen religiösen und sozialkritischen Liedern auf Konzertreisen. Seine wohl bekanntesten Lieder sind Maran atha! und Liebe. Von 1965-75 war er in Karlstadt federführend am Aufbau der Pfarrei Heilige Familie und des Kapuzinerklosters beteiligt. 1971 wurde Militärpfarrer, zuerst in Sonthofen und später in Flensburg. Von 1979 bis 1984 war er Guardian des Klosters Sankt Konrad in Altötting. In diese Zeit fiel der Besuch von Papst Johannes Paul II., der im dortigen Kapuzinerkloster übernachtete. Bis 1989 übernahm Pater Caspar die Krankenhausfürsorge in Vilsbiburg und zog dann ins Kloster Burghausen. Ab 1993 war er gelähmt und auf den Rollstuhl angewiesen. Pater Caspar verstarb am 9. Juni 2008 in Ruhpolding und wurde auf dem Friedhof der Sankt-Anna-Basilika bestattet.