Nach einer Buchhandelslehre und der Mitarbeit bei verschiedenen Verlagen gründete er am 1. Januar 1867 in der Friedrichstraße 70 in Berlin die Annoncen-Expedition Rudolf Mosse. Als einer der Ersten pachtete er den gesamten Anzeigenteil mehrerer Zeitungen und wurde somit vom bloßen Vermittler zum Anbieter von Anzeigenraum, den er an Werbekunden verkaufte. Bereits fünf Jahre später verfügt das Unternehmen über 250 Zweigniederlassungen im In- und Ausland.
Mosse baute sein Unternehmen gemeinsam mit seinem Schwager Emil Cohn durch die Gründung eines Verlags und der Herausgabe des Berliner Tageblatts (1872, Chefredakteur Theodor Wolff), der Berliner Morgen-Zeitung (1889) sowie der Berliner Volks-Zeitung (1904) aus. Ebenfalls 1872 trat er der Gesellschaft der Freunde bei. Ausgeweitet wurde auch der Service für die Anzeigenkunden, etwa durch die grafische Gestaltung von Annoncen.
Seit 1882 (1. Ausgabe) erschien bei Rudolf Mosse der Bäder-Almanach. Mitteilungen der Bäder, Luftkurorte und Heilanstalten als bedeutendes Nachschlagewerk für Ärzte und Patienten, das mit der 17. Ausgabe im Jahre 1933 eingestellt wurde.
Weitere Titel von Mosses Zeitungskonzern waren: Ulk (1872), Sonntagsblatt (1873), Deutsche Lesehalle (1881), Handelszeitung (1886), Zeitgeist (1888), Technische Rundschau (1895), Haus, Hof, Garten (1899) und Weltspiegel (1902). Hinzu kamen etwa 130 Fachzeitschriften.
Auf ihn geht der Rudolf-Mosse-Code zurück, mit dem im internationalen Telegrafenverkehr standardisierte Nachrichten kostengünstig übertragen werden konnten.
Seinen Konkurrenten, insbesondere August Scherl und dessen Aufkäufern aus der nordrheinischen Schwerindustrie, insbesondere Alfred Hugenberg, war die liberal-konservative Ausrichtung des Juden Mosse allerdings ein Dorn im Auge. Unter der Führung von Krupp-Direktor Alfred Hugenberg entstand 1916 die Allgemeine Anzeigen GmbH (Ala), die nun größte Annoncen-Expedition Deutschlands und Mosses stärkste Konkurrenz. Als Mosse den Scherl-Verlag übernehmen wollte, vereitelte Alfred Hugenberg dies mit Hilfe der Regierung.
Mosse war überaus vielseitig interessiert und engagiert. Er gründete in Wilmersdorf die "Emilie- und Rudolf Mosse-Stiftung“, ein Erziehungsheim für Waisenkinder. 1892 gründete er eine Pensionskasse für seine mehr als 500 Angestellten mit einem Startkapital vom 100 000 Mark. Im Mosse-Palais am Leipziger Platz trug er eine erlesene Kunstsammlung zusammen.[1]. 1917 stiftete er 100 000 Mark als Stipendium für Studenten und erhielt den Dr. phil. h.c. der Universität Heidelberg
Durch einen Unfall starb er im September 1920 in Schenkendorf bei Berlin. Sein Grab befindet sich auf dem Jüdischen Friedhof Berlin-Weißensee.
Kurz nach der nationalsozialistischen Machtergreifung wurde Mosses Unternehmen gleichgeschaltet. Allerdings war es kurz zuvor schon in finanzielle Schwierigkeiten geraten.
Rudolf Mosses Bruder war der Jurist Albert Mosse, der in Japan als Regierungsberater wirkte. Sein zweiter Bruder Emil Mosse (* 1. Februar 1854 – 1911) war seit 1884 Rudolfs Geschäftspartner.[3] Sein Enkel war der Historiker George L. Mosse, Sohn seiner einzigen Tochter Felicia und ihres Ehemanns Hans Lachmann-Mosse.
Des Weiteren hatte er noch die Brüder Salomon, Max und Paul.
In Berlin erinnert seit dem 9. Mai 1989 eine am Mosse-Stift angebrachte Gedenktafel an sein Leben und Wirken.[4]
Er war Eigentümer von Schloss Schenkendorf