Langhans war kein ausgebildeter Architekt. Er studierte von 1753 bis 1757 Jura in Halle, daneben auch Mathematik und Sprachen, und beschäftigte sich autodidaktisch mit der Architektur, wobei er vor allem die antiken Schriften des römischen Architekturtheoretikers Vitruv und deren Neufassung vom Antike begeisterten Johann Joachim Winckelmann zugrunde legte.
Der Entwurf zur protestantischen Kirche Zum Schifflein Christi 1764 in Glogau brachte ihm den ersten Durchbruch als Architekt. Im selben Jahr fand Langhans eine Anstellung als Bauinspektor des Fürsten von Hatzfeld, dessen kriegszerstörtes Palais er nach eigenen Entwürfen in den Jahren 1766–74 neu errichten ließ. Durch die Vermittlung des Fürsten von Hatzfeld wurde er am Berliner Hof bekannt. Als erstes Werk im Dienste der königlichen Familie entwarf er für den Prinzen Heinrich 1766 das Treppenhaus und den Muschelsaal im Schloss Rheinsberg.
Im Jahre 1771 heiratete er Anna Elisabeth Jaeckel, die Tochter eines Breslauer Rechtsgelehrten. Sie hatten fünf Kinder: die Töchter Louise Amalie und Juliane Wilhelmine, den Sohn und Theaterarchitekten Carl Ferdinand sowie zwei weitere Kinder, die bereits früh starben.
Seit 1782 bewohnte er mit seiner Familie das schwiegerelterliche Haus in der Albrechtstraße 18 in Breslau. 1788 zog er nach Berlin um, wo er in der Charlottenstraße 48 (Ecke Behrenstraße) wohnte.
Im ausgehenden 18. Jahrhundert und beginnenden 19. Jahrhundert war es für jeden Künstler ein großer Traum, eine Italienreise zu unternehmen, um die Antike aus eigener Anschauung studieren zu können. Nicht nur Goethe und Schinkel war die Erfüllung dieses Traums vergönnt, auch Langhans konnte sich durch die Unterstützung des Fürsten von Hatzfeld 1768–69 eine Reise nach Italien leisten. Als er später zum Leiter der Breslauer Kriegs- und Domänenkammer berufen wurde, bereiste er im Auftrag und auf Kosten des Königs die Länder England, Holland, Belgien und Frankreich.