Herbert Weichmann meldete sich nach dem Abitur 1914 in Liegnitz (Schlesien) als Kriegsfreiwilliger zur Teilnahme am Ersten Weltkrieg. Nach dem Krieg ab 1918 studierte er zunächst Medizin in Freiburg/Breisgau und wechselte bereits ein Jahr später zu dem Fach der Rechtswissenschaften in Breslau, Frankfurt und Heidelberg.
Noch während des Studiums trat Herbert Weichmann 1920 in die Sozialdemokratische Partei Deutschlands (SPD) ein. In dieser Zeit war er auch erstmals als Journalist tätig. Er arbeitete von 1920 bis 1921 als Korrespondent für die demokratische Frankfurter Zeitung.
1921 promovierte er an der Universität Breslau und arbeitete anschließend sechs Jahre lang als Korrespondent bzw. Redakteur für verschiedene Zeitungen. Eine seiner Haupttätigkeiten war aber das Schreiben für die Vossische Zeitung in Oberschlesien und Essen. In den Jahren 1926/27 arbeitete er als Richter am Amtsgericht der Städte Liegnitz und Breslau, übernahm aber schon 1927 für ein Jahr die Chefredaktion der Kattowitzer Zeitung. Von 1928 bis 1932 wurde er in das Preußische Staatsministerium zum persönlichen Referenten des Ministerpräsidenten Otto Braun berufen. Dort war er in verschiedenen Bereichen tätig. Im Vorwort zu Hagen Schulz Biographie über Otto Brauns schreibt er über diese Zeit „Für meine eigene politische Tätigkeit war Otto Braun ein Lehrmeister auf vielen Gebieten.“ [1] 1930 unternahm er eine Russland-Reise und verarbeitete diese zum viel beachteten Werk Alltag im Sowjetstaat(1931) einem kritischen Resümee über die Sowjetunion. Nach der Machtübernahme der Nationalsozialisten 1933 wurde Herbert Weichmann aus dem Staatsdienst entlassen.
Im Jahr 1928 heiratete er Elsbeth Weichmann (geborene Greisinger) in Berlin.