Er studierte Rechtswissenschaften in Jena und Halle. Danach arbeitete er unter anderem am Reichskammergericht. 1749 wurde er als Referendar am Kammergericht in preußischen Dienst übernommen. 1751 bestellte ihn der Großkanzler Samuel von Cocceji zum Regierungsrat in Oppeln. Später wurde er zunächst Direktor, dann Präsident der Oberamtsregierung in Breslau. Indem er 1768 zum Chefpräsidenten sämtlicher Oberamtsregierungen in Schlesien wurde, erhielt er den Titel des schlesischen Justizministers. Als 1779 im Zuge der Müller-Arnold-Affäre der amtierende Großkanzler Fürst vom preußischen König Friedrich II. entlassen wurde, machte der König Carmer zu Fürsts Nachfolger.
Als Großkanzler setzte er mit Unterstützung durch seinen Mitarbeiter Carl Gottlieb Svarez umfangreiche Reformen in der preußischen Justiz durch, teilweise auch gegen den Widerstand der Berliner Justizkreise. Schon während seiner Zeit in Schlesien stand er in Fragen der Justiz- und Prozeßrechtsreform in Kontakt mit dem König, der damit den eigentlich hierfür zuständigen Großkanzler Fürst überging. Während dieser zur Erfüllung der Reformwünsche Friedrichs behutsame Anpassungen und vorsichtige Umgestaltung propagierte, stand Carmer mit seiner zupackenden und energischen Art, ganz im Sinne des Königs, eher für umfassende Reformen und versprach dem Monarchen Abhilfe. Nachdem er als Großkanzler und Erster Minister des Justizdepartements eingesetzt war, konnte er die Umsetzung seiner Vorstellungen in Angriff nehmen.
Ausschlaggebend für die nun folgende Arbeit war eine inhaltlich auf ihn zurückgehende Kabinettsorder Friedrichs vom 14. April 1780. Hierin wurden die Grundzüge einer Reform des gesamten Rechts, insbesondere des Prozeßrechts, angedeutet. In Ausführung dieser Order schuf Carmer mit seinen Mitarbeitern das Corpus Juris Fridericianum, welches bald von der Allgemeinen Gerichtsordnung abgelöst wurde, vor allem aber das 1794 unter Friedrich Wilhelm II. verabschiedete Allgemeine Landrecht. Damit waren Gesetze entstanden, die auf Jahrzehnte hinaus das preußische Rechtsleben prägen sollten. Carmer verfasste nicht nur Teile dieser Gesetze selbst, sondern sorgte auch für die nötige Unterstützung der Projekte durch den König und für deren Verteidigung gegen auftretende Widerstände.
Für die ehemalige Berliner Siegesallee schuf der Bildhauer Adolf Brütt in der Denkmalgruppe 29 eine Büste von Carmers, enthüllt am 22. März 1900. Die Büste war als Nebenbüste dem zentralen Standbild für Friedrich Wilhelm II. zugeordnet. Von Carmer ist in hoheitsvoller Haltung als Repräsentant von Recht und Gesetz dargestellt.[1] Die Büste ist, allerdings ohne Kopf, erhalten und ruht zusammen mit weiteren Siegesalleefiguren seit Mai 2009 in der Zitadelle Spandau.