Carl Friedrich Zöllner war der dritte von fünf Söhnen des Schulrektors Johann Andreas Zöllner in der sachsen-weimarischen Exklave Mittelhausen. Nach dem frühen Tode seines Vaters (1809) besuchte er die Gymnasien in Eisleben und in Eisenach, sowie ab 1814 die Thomasschule zu Leipzig.
Ab 1819 studierte er hier Theologie, was er aber 1822 aufgab, nachdem er schon 1820 die Gesangslehrerstelle an der Leipziger Ratsfreischule übernommen hatte. 1822 richtete er auch ein privates Musikinstitut ein, an dem vor allem der Chorgesang gepflegt wurde. Er eröffnete 1833 den ersten Zöllner-Verein, dem die Gründung zahlreicher weiterer von Zöllner geleiteter Männergesangsvereine folgte. In einem Festkonzert zu Schillers 100. Geburtstage dirigierte er zwanzig Vereine. Diese schlossen sich nach seinem Tode zum Leipziger Zöllnerbund zusammen, der bis 1945 bestand.
Ab 1840 unterrichtete er als Gesangslehrer an der Thomasschule.[1]
1868 wurde ihm im Leipziger Rosental ein Denkmal errichtet.
Sein Sohn Heinrich Zöllner war ebenfalls ein erfolgreicher Komponist und Dirigent.
Der Zöllner-Männerchor Bernburg e.V. (gegründet 23. Oktober 1846) ist der einzige, bis in die jetzige Zeit aktive Chor, der in der ununterbrochenen Tradition des Carl-Friedrich Zöllner steht.