Olga Taussky studierte an der Universität Wien Mathematik und promovierte 1927 bei Philipp Furtwängler über das zahlentheoretische Thema: Über eine Verschärfung des Hauptidealsatzes. Furtwängler war es kurz zuvor erstmals gelungen, den Hauptidealsatz zu beweisen.
1931 erhielt sie eine Assistentenstelle in der damaligen Mathematikhochburg, der Universität Göttingen. Ihre Aufgabe bestand darin, David Hilberts Gesammelte Werke herauszugeben und darin noch vorhandene Fehler zu beseitigen (dabei musste sie sich auch gründlich mit Hilberts Zahlbericht beschäftigen). Es entstand die langjährige Freundschaft zur bedeutenden Mathematikerin Emmy Noether. Das gemeinsame Arbeitsgebiet war die algebraischer Zahlentheorie. 1934 musste Taussky wegen ihrer jüdischen Herkunft emigrieren und ging zunächst mit Emmy Noether an das Bryn Mawr College in Pennsylvania, USA.
1935, nach Noethers Tod, ging sie nach England und wurde Fellow im Girton College der Cambridge University, ebenso wie Bryn Mawr ein Frauen-College. 1938 heiratete sie den englischen Mathematiker John Todd (1911–2007), einen Kollegen an der Universität London. Im Zweiten Weltkrieg analysierte sie (in Zusammenarbeit mit ihrem Mann) am National Physical Laboratory die Vibrationen von Flugzeugen und entwickelte dafür bahnbrechend die Numerik von Matrizen, an deren Ausbau sie in der Folgezeit maßgeblich beteiligt war, zunächst am "National Bureau of Standards" der USA. Sie wurde später allgemein als Pionierin der Matrizentheorie verehrt. Daneben arbeitete sie weiter auf dem Gebiet der algebraischen Zahlentheorie, das sie nach wie vor als ihr eigentliches Gebiet betrachtete. Hier entwickelte sie unter anderem algorithmische Methoden, teilweise in Zusammenarbeit mit Hans Zassenhaus und anderen.
1957 folgte das Ehepaar einem Ruf an das California Institute of Technology (CALTECH) in Pasadena (bei Los Angeles), wo sie bis zu ihrem Tod lebte. Zunächst war nur ihr Mann Professor, sie selbst Forschungsassistentin, aber mit den Pflichten einer vollen Professorenstelle. Erst als eine andere, viel jüngere Frau um 1970 als erste Professorin am Caltech gefeiert wurde, ließ sie ihren Status zu einer vollen Professorenstelle 1971 korrigieren. 1981 hielt sie die Noether Lecture.