Bruchmann studierte Geschichte an den Universitäten Breslau und Marburg, wo er bei den Landsmannschaften Vandalia Breslau sowie Hasso-Borussia Marburg aktiv wurde. Nach der Promotion 1929 war er zunächst als Assistent am Institut für Landeskunde der Universität Marburg tätig. Von 1930 bis 1931 absolvierte er die preußische Archivarsausbildung am Institut für Archivwissenschaft in Berlin-Dahlem. Anschließend ging er an das preußische Staatsarchiv Breslau, wo er 1935 zum Staatsarchivrat befördert wurde. 1939 wurde er zum Beauftragten des Staatsarchivs Breslau für den Regierungsbezirk Kattowitz ernannt. 1940 wurde in Kattowitz eine Nebenstelle (Abteilung) des Staatsarchivs Breslau eingerichtet, die 1941 in ein eigenständiges Staatsarchiv (Staatsarchiv Kattowitz) umgewandelt wurde. Karl Bruchmann wurde die Leitung übertragen.
Nach dem Krieg war Bruchmann 1947 zunächst am Niedersächsischen Staatsarchiv Osnabrück beschäftigt, bevor er 1948 die Leitung des Stadtarchivs Goslar übernahm. Dort betreute er neben dem Archiv auch die Stadtbibliothek und das Städtische Museum. 1961 wurde er zum Direktor des Bundesarchivs berufen. Diese Position hatte er bis zu seinem Tod 1967 inne.
Er war Vorsitzender des Geschichts- und Heimatschutzvereins Goslar, des Harzvereins für Geschichte und Altertumskunde sowie des Vereins deutscher Archivare (1961-67).