Schwarz studierte in Berlin zunächst Chemie, dann durch Einwirken von Kummer und Weierstraß Mathematik. Zwischen 1867 und 1869 war er Professor in Halle, dann in Zürich. Seit 1875 arbeitete er an der Universität Göttingen und schließlich 1892 an der Berliner Akademie der Wissenschaften.
Schwarz beschäftigte sich insbesondere mit der Funktionentheorie und der Theorie der Minimalflächen. Besonders zu erwähnen sind seine Arbeiten zum riemannschen Abbildungssatz (Schwarz-Christoffel-Transformation), zur Lösung der ersten Randwerteaufgabe für den Kreis und seine Arbeiten über die hypergeometrische Differentialgleichung. Nach ihm benannt sind die Cauchy-Schwarz-Ungleichung, das Schwarzsche Lemma, das Lemma von Schwarz-Pick und der Satz von Schwarz.