Klein besuchte in seiner Heimatstadt Breslau die Schule und studierte ab 1763 an der Universität Halle bei Daniel Nettelbladt Rechtswissenschaften. Nach Abschluss des Studiums war er zunächst in Breslau als Rechtsanwalt tätig. Dort unterbreitete der Aufklärer Vorschläge für Änderungen im Zivilprozessrecht und veröffentlichte einige Arbeiten zu Gesetzgebungsverfahren. Dadurch wurde der preußische Staatsminister Carmer auf ihn aufmerksam, der ihn 1781 in einen Kommission für die Schaffung eines Allgemeinen Landrechts für die Preußischen Staaten (ALR) berief. Im ALR gingen insbesondere die Abschnitte zum Ehe- und zum Strafrecht in wesentlichen Teilen auf Klein zurück. Darüber hinaus verfasste er weitere Werke zum Strafrecht.
Von 1788 bis 1807 gab Klein als „Königlich Preussischer Kammergerichtsrat“ die Annalen der Gesetzgebung und Rechtsgelehrsamkeit in den Preussischen Staaten heraus, die im Verlag seines Freundes Friedrich Nicolai erschienen. Sie enthielten die Abschnitte: „Merkwürdige Rechtsfälle“, „Entscheidungen der Gesetz-Commission“, „Entscheidungen der Jurisdictions-Commission“, „Aufsätze und Nachrichten“. Einige Prozesse wurden kommentiert. Kleins Beiträge bezogen sich insbesondere auf das Ehe- und Strafrecht.
Ab 1789 gehörte er der Königlich-Preußischen Akademie der Wissenschaften an. Von 1791 bis 1800 lehrte er als Ordinarius der juristischen Fakultät an der Universität Halle, deren Universitätsdirektor er zeitweilig war. Hier entwickelte er mit den sogenannten "Sicherheitsmaßregeln", mit denen Wiederholungstäter an der weiteren Begehung von Straftaten gehindert werden sollten, die Idee von einer vorbeugenden Bestrafung. Nach 1800 gehörte er in Berlin erneut der Gesetzgebungskommission und dem Obertribunal an.
Klein gehörte zu den Lehrern der Brüder Alexander und Wilhelm von Humboldt. Er war Freimaurer in der Berliner Loge L'amitié und von 1801 bis 1809 Großmeister der Großen Loge Royal York.