Toeplitz stammte aus einer Familie, die bereits mehrere Mathematiklehrer hervorgebracht hatte. Sowohl sein Vater Emil Toeplitz als auch sein Großvater Julius Toeplitz unterrichteten Mathematik an einem Gymnasium, und sein Vater war Herausgeber eines damals bekannten Philologenjahrbuchs (Kunze Kalender). Otto wuchs in Breslau auf und begann nach dem Abitur dort bei Rosanes und Sturm Mathematik zu studieren. 1905 promovierte er mit einer Arbeit über Algebraische Geometrie.
1906 ging Toeplitz für sieben Jahre nach Göttingen. Bei seiner Ankunft war David Hilbert mittendrin in seiner Theorie der Integralgleichungen, speziell der Spektraltheorie beschränkter symmetrischer Operatoren, und Toeplitz schrieb mehrere Arbeiten zu diesem Thema (Strukturen der linearen Algebra in der Spektraltheorie, Erfindung der Toeplitz-Operatoren u.a.), wobei er schon mit seinem Studenten Ernst Hellinger zusammenarbeitete, mit dem er sich auch befreundete. 1913 ging er als außerordentlicher Professor an die Christian-Albrechts-Universität in Kiel, 1920 wurde er dort zum ordentlichen Professor ernannt. Gemeinsam mit Ernst Hellinger stellte Toeplitz in dieser Zeit einen Artikel über Integralgleichungen für die angesehene „Enzyklopädie der mathematischen Wissenschaften“ fertig, der 1927 veröffentlicht wurde. 1928 übernahm Toeplitz als Nachfolger des Geometers Eduard Study einen Lehrstuhl an der Universität Bonn, wo er eine viel höhere Hörerzahl als in Kiel hatte.
Die von ihm 1911 eingeführten Toeplitz-Matrizen haben Anwendungen in der Theorie der Fouriertransformation, in der Kristallographie und der Entwicklung schneller Algorithmen.
Trotz des rassistischen „Gesetzes zur Wiederherstellung des Berufsbeamtentums“ von 1933 konnte Toeplitz noch bis 1935 lehren. Dann wurde er wegen seiner jüdischen Herkunft des Amtes enthoben und in den Ruhestand versetzt. Nach seiner Emeritierung arbeitete er als Vorsteher der jüdischen Gemeinde in Bonn und unterrichtete jüdische Schulkinder. Er gründete eine jüdische Schule und organisierte als Leiter der Hochschulabteilung der Reichsvertretung der Juden in Deutschland vor allem die Ausreise jüdischer Studierender in die USA. Fassungslos hielt er die Folge der Absetzungen und der Selbstmorde von Professoren in Karteikarten fest. Anfang Februar 1939 zwang ihn der steigende Verfolgungsdruck, nach dem unter britischer Mandatsverwaltung regierten Palästina zu emigrieren. Ein Jahr nach der Ausreise verstarb er in Jerusalem.
In den 1930er Jahren arbeitete er mit seinem Studenten Gottfried Köthe an einer eigenen Theorie unendlich dimensionaler Räume, da ihm Stefan Banachs Theorie zu abstrakt war. Dazu übertrug er Ideen der endlich dimensionalen linearen Algebra wie schon in seinen Arbeiten Anfang des Jahrhunderts in Göttingen.
Toeplitz war ein leidenschaftlicher Lehrer und wurde hier und in seinem Interesse für Mathematikgeschichte stark von Felix Klein geprägt. Besondere Ausprägung fand dies in seinem Mathematik-Didaktik Kolloquium für angehende Lehrer in Kiel. 1926 hielt er auf der Naturforschertagung in Düsseldorf einen seinerzeit viel beachteten Vortrag über den Analysis-Unterricht, wobei er für die historische Methode plädiert, die den Entdeckungsgang nachvollzieht („genetisch“). Er schrieb dazu auch ein Buch über die Geschichte der Analysis: Die Entwicklung der Infinitesimalrechnung: Eine Genetische Annäherung (1949 postum auf Deutsch editiert und durch Gottfried Köthe veröffentlicht). Weiterhin interessierte Toeplitz sich für die Beziehung zwischen klassischer griechischer Mathematik und Philosophie und war häufiger Besucher des Mathematik-Seminars in Frankfurt, an dem sein Freund Hellinger seit 1914 arbeitete. Außerdem hatte er schon in Kiel ein eigenes Seminar über griechische Mathematik mit Heinrich Scholz und Julius Stenzel. Mit letzterem und Otto Neugebauer gründete er die Zeitschrift „Quellen und Studien zur Geschichte der Mathematik“. Mit Heinrich Behnke gründete er 1932 die noch heute bestehenden Mathematisch-Physikalische Semesterberichte, die sich vor allem an Mathematiklehrer richten.
Toeplitz wird von Heinrich Behnke als freundlich, offen (auch gegenüber Kritik) und hilfsbereit beschrieben. Er war sehr an seinen Studenten interessiert, führte mit vielen ausführliche Gespräche in freundschaftlicher Atmosphäre und kannte sie genau.
Mit Hans Rademacher schrieb er 1930 eine weit verbreitete populäre Einführung in die Mathematik „Von Zahlen und Figuren“, in der u.a. elementare Zahlentheorie, Minima/Maxima Probleme, Polyeder, Topologie, Vierfarbensatz und Geometrieprobleme wie Kurven konstanten Durchmessers behandelt werden. Das Buch ging aus öffentlichen Vorträgen hervor.
Einer seiner Söhne, Uri (Erich) Toeplitz war von Beruf Flötist und Mitbegründer des Israel Philharmonic Orchestra.