Nach dem Studium der Medizin an den Universitäten Breslau, Berlin und Freiburg im Breisgau wurde Oscar Langendorff 1875 an der Albertus-Universität Königsberg promoviert, wo er in den Folgejahren als wissenschaftlicher Assistent arbeitete. Er habilitierte sich im Jahr 1879 beim Physiologen Ludimar Hermann und bekleidete ab 1884 die Position eines außerordentlichen Professors. Im Jahr 1886 erfolgte die Wahl Langendorffs zum Mitglied der Leopoldina.

Im Jahr 1892 folgte Langendorff einem Ruf an die Universität Rostock, wo er bis zu seinem Tod 1908 als Ordinarius und Direktor des physiologischen Instituts arbeitete.

Bekannt wurde Langendorff vor allem durch seine Experimente am isolierten perfundierten Herzen in der nach ihm benannten Langendorff-Apparatur. Daneben beschäftigte er sich u.a. mit Aspekten der Atmung sowie der Reizleitung im sympathischen und peripheren Nervensystem.