Von 1919 bis 1923 studierte Klemm Chemie an der Universität Breslau. Dort promovierte er bei Heinrich Biltz. Seinem Doktorvater folgte er an die Technische Hochschule Hannover, wo er sich im Bereich der anorganischen Chemie 1927 habilitierte und 1929 zum außerordentlichen Professor ernannt wurde. 1933 nahm er einen Ruf an die Technische Universität Danzig an, wo er bis 1945 die Abteilung für anorganische Chemie leitete. In den Jahren 1944/45 war er Prorektor der Universität und leitete deren Evakuierung aus Danzig.
Nach überstandener Entnazifizierung – er war Mitglied der NSDAP und zudem SS-Fördermitglied gewesen – war er zunächst ab 1947 in Kiel, seit 1951 bis zu seiner Emeritierung in Münster tätig. Klemm starb am 24. Oktober 1985 in Danzig. Sein Grab befindet sich auf dem Zentralfriedhof in Münster.
In den 1920er Jahren hat sich Klemm mit Arbeiten zur Magnetochemie einen Namen gemacht. Seine ganze wissenschaftliche Karriere hindurch befasste er sich mit Themen der anorganischen und physikalischen Chemie. Er verfeinerte die Vorstellungen von Eduard Zintl zur Struktur intermetallischer Verbindungen ("Zintl-Klemm-Konzept"). In dem von ihm geleiteten Institut an der Westfälischen Wilhelms-Universität Münster wurden 1962 zeitgleich mit einer amerikanischen Arbeitsgruppe von Rudolf Hoppe die ersten Edelgasverbindungen hergestellt. Seine Lehrbücher zur Anorganischen Chemie (u. a. der sogenannte "kleine Klemm" in der Sammlung Göschen) sowie - in Nachfolge seines Doktorvaters - zur experimentellen Einführung in die anorganische Chemie (der "Biltz-Klemm-Fischer", kurz BKF genannt) waren zu seiner Zeit Standardbücher für jeden Chemiestudierenden und erreichten etliche Auflagen