Es ist nicht bekannt, wessen Schüler Matthias Rauchmüller war. Erstmals nachweisbar ist er 1669/71 in Mainz, wo er ein Kruzifix für den dortigen Dom schuf. Um 1675 wurde er mit der Ausführung eines Grabmals für Karl von Metternich beauftragt, das in der Trierer Liebfrauenkirche aufgestellt wurde.
Seit 1676 hielt sich Matthias Rauchmüller in Wien auf. Für die Jahre 1677–1679 ist er in Schlesien nachgewiesen. Als Stiftung der Herzoginwitwe Luise wurde nach Rauchmüllers Entwurf in der Liegnitzer Johanneskirche ein prächtiges Barock-Mausoleum für die letzte Liegnitzer Piastenfamilie errichtet, für das er auch die vier lebensgroßen Statuen der herzoglichen Familie schuf. Während dieser Jahre wurde er vermutlich auch mit der Innenausstattung des ehemaligen Fürstensaals (jetzt Rittersaal) des Ohlauer Schlosses beauftragt, das von der Herzoginwitwe Luise erweitert wurde. Für die Breslauer Magdalenenkirche schuf er 1677 ein Epitaph in Form eines Sarkophags für Adam von Arzat. Die vollplastischen Figuren stellen Ehre und Hoffnung dar, und in der Nische oberhalb des Epitaphs wird die Personifizierung des Ruhmes dargestellt. Das ein Jahr später für dieselbe Kirche geschaffene Marmorepitaph für Octavius Pestaluzzi ist nur teilweise erhalten.
1681 entwarf Rauchmüller für die Prager Karlsbrücke ein Gipsmodell der Nepomukstatute, die von Johann Brokoff in Holz gefertigt und von Hieronymus Herold gegossen wurde. In der Wiener Dominikanerkirche fertigte er das Langhausfresko, und 1682 lieferte er den Gesamtentwurf für die Wiener Pestsäule, von der nur noch drei Engel erhalten sind. Nach dem Tod des Malers Carpoforo Tencalla 1685 übernahm Matthias Rauchmüller die Freskierung der Seitenschiffe sowie zweier Kapellen im Passauer Dom. Diese Arbeiten wurden nach Rauchmüllers Tod 1686 von Tencallas Schwiegersohn Carlo Antonio Bussi vollendet.
Neben Großplastiken, Malereien und Elfenbeinschnitzereien schuf Matthias Rauchmüller auch zahlreiche Zeichnungen für Thesenblätter, die von den Augsburger Kupferstechern Melchior Küsel und Philipp Kilian gestochen wurden. Die Zeichnungen Tod der Sophonisbe und Tod der Kleopatra wurden von Jacob von Sandrart gestochen.