Nach der Schulzeit in Schweidnitz studierte Scholz ab 1851 in Berlin und Bonn Rechtswissenschaften. Der Ablegung der Staatsexamina in Berlin, folgte 1859 eine kurze Tätigkeit als Gerichtsassessor am Kammergericht Berlin. 1860 gelangte Scholz dann als preußischer Regierungsassessor in die Regierungen von Danzig und Oppeln und wirkte später am Oberpräsidium Breslau als Oberpräsidialrat. 1864 wurde er Hilfsarbeiter im preußischen Kultusministerium und 1869 Regierungsrat.
1870 wurde Scholz in das preußische Abgeordnetenhaus gewählt, dem er bis 1873 erst als Mitglied der konservativen und später als Mitglied der Neukonservativen Fraktion angehörte. 1871 trat Scholz in das preußische Finanzministerium ein. 1879 von Reichskanzler Otto von Bismarck zum Unterstaatssekretär berufen, wurde er mit der Leitung des neu geschaffenen Reichsschatzamts betraut. 1880 zum Staatssekretär befördert, stand Scholz bis 1882 dem Reichsschatzamt vor. Im Juli 1882 wurde er schließlich zum preußischen Finanzminister ernannt. In diesem Amt diente er unter den Kaisern Wilhelm I., Friedrich III. und Wilhelm II. bis 1890.
1885 erwarb er von Ernst Lang das bei Konstanz gelegene "Schloss Seeheim" (später auch bekannt als "Villa Scholz"), welches ihm während einer Reise in die Schweiz aufgefallen war. 1889/90 ließ er auf den Fundamenten des Vorgängerbaus einen Neubau im Stil des Historismus nach Plänen und unter Leitung des Architekten Hermann Eggert aus Straßburg errichten
Nach seiner Pensionierung als Minister bezog Adolf von Scholz mit seiner Familie im November 1890 das Anwesen, bei dessen Einweihung auch Fürst Bismarck und Ferdinand Graf von Zeppelin zugegen waren.
Adolf von Scholz war seit 1873 mit Anna Mentzel (1847–1938) verheiratet. Ihr Sohn war der Schriftsteller Wilhelm von Scholz (1874–1969).