Stern kam im Jahr 1832 mit seinen Eltern nach Berlin und musste zunächst als Lehrling in eine Seidenfabrik eintreten, ehe er als Eleve an der Musiksektion der Berliner Akademie der Künste angenommen wurde und Komposition studieren konnte. Durch ein Stipendium des Königs Friedrich Wilhelm IV. wurde ihm ein Gesangsstudium in Paris ermöglicht. Hier leitete er als Nachfolger von Conradin Kreutzer den deutschen Gesangverein und lernte Giacomo Meyerbeer (der ihn auch protegierte) und Hector Berlioz kennen.
Nach seiner Rückkehr nach Berlin sang er 1834-1843 in der Sing-Akademie zu Berlin und gründete 1847 einen eigenen Gesangsverein, der bald eine ernsthafte Konkurrenz für die Sing-Akademie darstellte. Mit diesem führte er zunächst Werke von Felix Mendelssohn Bartholdy, später auch die Messe und die 9. Sinfonie von Ludwig van Beethoven auf.
Gemeinsam mit Theodor Kullak und Adolf Bernhard Marx gründete er im Jahr 1850 die „Musikschule für Gesang, Klavier und Komposition“, die ab 1857, nach dem Ausscheiden der beiden Mitbegründer, als das Stern’sche Konservatorium firmierte. Das Institut war eine der bedeutendsten Ausbildungsstätten für den musikalischen Nachwuchs in Berlin und hatte sowohl bedeutende Lehrer als auch Schüler vorzuweisen. Neben der alleinigen Leitung des Konservatoriums übernahm Stern auch den Dirigentenposten des Chores der Synagoge. 1855 gründete er einen Orchesterverein, der allerdings aufgrund wirtschaftlicher Probleme keinen langen Bestand hatte. Später leitete er die Berliner Symphoniecapelle, bis er sich 1873 als Dirigent zurückzog. Im gleichen Jahr trat er der Gesellschaft der Freunde bei.
In jungen Jahren komponierte Stern eine Reihe von Liedern, die zu ihrer Zeit recht beliebt waren.
Nach seinem Tode im Jahr 1883 wurde er auf dem Jüdischen Friedhof Weißensee beigesetzt.