Josef Schwarzer war von Beruf Fahrradmechaniker. Als Schrittmacher fiel er Thaddäus Robl auf. 1907 kaufte sich Schwarzer eine eigene Schrittmachermaschine und führte den US-amerikanischen Rennfahrer Louis Mettling, bis dieser im Juli 1907 bei einem Rennen in Dresden tödlich verunglückte. Anschließend führte er hauptsächlich Robl sowie den Schweizer Fritz Ryser, mit dem gemeinsam er Weltmeister in Berlin-Steglitz wurde. Nur knapp vier Wochen später stürzte Schwarzer auf der Radrennbahn von Düsseldorf tödlich. Das Sport-Album der Rad-Welt schrieb: „Trauernd umstanden die Angehörigen die Bahre des Dahingeschiedenen und in Gedanken weilte die ganze radsportliche Welt an seinem Sarge.“