Johann Heinrich Gentz wurde als zweiter Sohn des Breslauer Münzmeisters Johann Friedrich Gentz(e) geboren, der 1779 als Generalmünzdirektor nach Berlin berufen wurde und mit Gotthold Ephraim Lessing, Immanuel Kant, Moses Mendelssohn und Christian Garve befreundet war. Mütterlicherseits war er ein Cousin des preußischen Prinzenerziehers und Ministers Jean Pierre Frédéric Ancillon. Über seinen Bruder Friedrich von Gentz, Publizist und Historiker in Wien und engster Mitarbeiter des Fürsten Metternich, und seinen anderen Bruder Ludwig, Kriegsrat im preußischen Finanzministerium, war er mit dem Architekten Friedrich Gilly verschwägert und befreundet.
Gentz wurde von 1783 bis 1790 an der Berliner Akademie der Künste durch Carl von Gontard zum Architekten ausgebildet. Von 1790 bis 1795 hielt er sich in Italien auf, davon dreieinhalb Jahre in Rom und längere Zeit zum Studium griechischer Baureste in Sizilien, worüber er einen ausführlichen Reisebericht verfasste. Danach wirkte er in Berlin am Oberhofbauamt, seit 1796 auch an der Akademie der Künste und war 1799 ein Mitbegründer der dortigen Bauakademie, an der er als Professor für Stadtbaukunst unterrichtete. Goethe bewirkte 1801 seine Freistellung in Berlin und holte ihn nach Weimar, wo er für Herzog Karl August am Residenzschloss und anderen Hofbauten tätig wurde. Gentz trat in Weimar in enge Beziehung zu Goethe und machte die Bekanntschaft Friedrich von Schillers und Christoph Martin Wielands. 1803 kehrte er nach Berlin zurück und wurde im selben Jahr Mitglied des Senats der Kunstakademie (ab 1805 ordentliches Mitglied, ab 1809 deren Sekretär). Als Oberhofbaurat wurde er 1810 zum ersten Direktor der Berliner Schlossbaukommission ernannt, und im gleichen Jahr war er mit Wilhelm von Humboldt und Aloys Hirt, den er bereits aus Italien kannte, verantwortlich für die Einrichtung des Prinz-Heinrich-Palais' als Universität. Darüber hinaus trat er 1810 der Gesetzlosen Gesellschaft zu Berlin bei. Sein Leben und Schaffen endete bereits im Alter von 45 Jahren in Berlin.