Panofka erhielt seine erste musikalische Ausbildung in seiner Heimatstadt Breslau und trat schon als Knabe öffentlich auf. 1824 begann er auf Wunsch seines Vaters an der Universität Breslau ein Jura-Studium, konnte aber schließlich nach Wien übersiedeln, wo er Schüler des berühmten Geigers Joseph Mayseder wurde. 1827 trat er mit großem Erfolg in Wien auf und unternahm eine Konzertreise nach München und Berlin. Als er 1831 durch den Tod des Vaters ein großes Vermögen erbte, gab er die Virtuosenlaufbahn wieder auf und ließ sich in Berlin als Musikschriftsteller nieder. 1832 ging er mit dem Pianisten Wenzeslaus Hauck noch einmal auf Reisen, fand aber kein Gefallen an dem Wanderleben, so dass er schon 1833 nach Berlin zurückkehrte. 1834 übersiedelte er nach Paris, wo er bald ein gefragter Gesangslehrer wurde. Ab 1848 lebte er in London, ab 1866 in Florenz.
Panofka gehörte zu den ersten Mitarbeitern der 1834 von Robert Schumann gegründeten Neuen Zeitschrift für Musik. Sein Nachlass befindet sich in der Staatsbibliothek zu Berlin.
Von Bedeutung für die Musikwissenschaft ist sein Stammbuch, in das sich zahlreiche bedeutende Musiker eingetragen haben, darunter Ludwig van Beethoven, Franz Schubert, Hector Berlioz, Franz Liszt und Johannes Brahms.