Von 1847 bis 1855 machte Herlitz eine Berufsausbildung zum Kaufmann und hatte später verschiedene Anstellungen als Kaufmann und Reisender. In London konvertierte er 1857 vom jüdischen Glauben zum Protestantismus, machte 1859–1862 seine theologische Ausbildung an der Basler Mission in der Schweiz und erreichte 1862 seine Ordination in Durlach.
Für sein erstes Pfarramt wanderte Herlitz nach Australien aus und war in den Jahren 1862–1868 Pastor der Gemeinde Grovedale (früher: Germantown) bei Geelong, dann von 1868 bis 1914 Pastor der deutschen Dreifaltigkeitsgemeinde in Melbourne. Er war dort überhaupt erst der zweite Pastor dieser evangelischen Kirchengemeinde und wird als der „Architekt“ einer gesamtaustralischen lutherischen Kirche bezeichnet.
Die Anfänge des deutschen Luthertums in Australien gehen auf Pfarrer und Gemeinden zurück, die wegen der Einführung der Altpreußischen Union aus Preußen ausgewandert waren, um in einem weit entfernten Kontinent ungestört ihren vertrauten lutherischen Glauben leben zu können. Die 1853 gegründete evangelisch-lutherische Dreifaltigkeitsgemeinde Melbourne und die 1866 gegründete deutsche evangelisch-lutherische Kirche Sydney gehören zu den Anfängen lutherischer Gemeinden und Kirchen in Australien seit 1838.
Herlitz war Präsident der lutherischen Synode in der britischen Kronkolonie Victoria, die von seinem Vorgänger Matthias Goethe 1856 gegründet worden war, und ab 1876 auch Präsident der evangelisch-lutherischen Generalsynode. Von 1868 bis 1914 arbeitete er in der Dreifaltigkeitsgemeinde in Melbourne.
Erst 1914 trat Herlitz in the Ruhestand. Nachdem er am 9. Juni 1920 gestorben war, wurde er auf dem Melbourne General Cemetery beigesetzt.