Traube wurde in Berlin als Sohn einer jüdischen Familie geboren; sein Vater war der Arzt und Pathologe Ludwig Traube. Nach dem Abitur am Askanischen Gymnasium in Berlin 1880 studierte er an den Universitäten München und Greifswald klassische Philologie und Mediävistik. 1883 wurde er in München promoviert; seine Dissertation Varia libamenta critica beschäftigte sich überwiegend mit den Quellen des Macrobius. 1888 habilitierte sich Traube mit Untersuchungen zur Dichtung der karolingischen Zeit und lehrte in den folgenden Jahren als Privatdozent. 1902 wurde er zum ordentlichen Professor für Lateinische Philologie des Mittelalters ernannt. Traube, seit 1900 mit einer Tochter Friedrich Hirths verheiratet, starb bereits 1907 an Leukämie. Er war seit 1896 außerordentliches, seit 1899 ordentliches Mitglied der Bayerischen Akademie der Wissenschaften, seit 1902 Mitglied der Accademia dei Lincei. Ab 1897 gehörte er der Zentraldirektion der Monumenta Germaniae Historica an.
Traube beschäftigte sich vor allem mit der lateinischen Literatur des Mittelalters, der Paläographie sowie der Text- und Überlieferungsgeschichte lateinischer Autoren. Zusammen mit dem in Göttingen wirkenden Wilhelm Meyer gilt Traube als Begründer der lateinischen Philologie des Mittelalters.