Horlitz besuchte eine Volksschule in Berlin und machte dort eine Lehre an der Städtischen Fachschule für Tischler. 1900 legte seine Gesellenprüfung als Kunsttischler ab, im selben Jahr trat er sowohl in den Deutschen Holzarbeiterverband als auch in die SPD ein. Nach drei Wanderjahren durch Deutschland, Frankreich und die Schweiz kam er zurück nach Berlin. Horlitz wurde 1907 als Gemeindevertreter in Adlershof bei Berlin gewählt. 1910 wurde er in Krefeld als Gewerkschaftssekretär eingestellt. Im Ersten Weltkrieg war er Soldat.
1919 wurde Horlitz in die Stadtverordnetenversammlung der damaligen Stadt Charlottenburg gewählt, im folgenden Jahr auch als Bezirksverordneter im Bezirk Charlottenburg. Drei Jahre später rückte er in die Berliner Stadtverordnetenversammlung ein, 1926 wurde er zum besoldeten Bezirksstadtrat im Bezirk Charlottenburg gewählt. Nach der „Machtergreifung“ der Nationalsozialisten wurde Horlitz aus politischen Gründen entlassen und arbeitete anschließend als Hausverwalter.
Nach dem Zweiten Weltkrieg wurde Horlitz sofort stellvertretender Bezirksbürgermeister von Charlottenburg und ab 1946 Bezirksbürgermeister. Dieses Amt übte er bis 1951 aus. Bei der Berliner Wahl 1950 wurde er in das Abgeordnetenhaus von Berlin gewählt. Für seine Verdienste erhielt Horlitz 1957 die Ehre des Stadtältesten von Berlin, er war anschließend noch einige Jahre in der Bezirksverordnetenversammlung Charlottenburg tätig.