Joseph Schacht wurde in eine katholische Familie geboren, erhielt aber schon früh Hebräischunterricht. Er studierte in Breslau und Leipzig orientalische und klassische Philologie, unter anderem bei Gotthelf Bergsträsser. 1925 erhielt er seine erste akademische Anstellung an der Albert-Ludwigs-Universität Freiburg im Breisgau. Zwei Jahre später wurde er dort außerordentlicher und 1929 ordentlicher Professor für orientalische Sprachen. 1932 erhielt er einen Ruf nach Königsberg, verließ jedoch schon 1934 Deutschland ohne direkt verfolgt oder gefährdet zu sein und ging nach Kairo, wo er bis 1939 als Professor unterrichtete. Danach ging er nach England, wo er für die BBC arbeitete. 1947 wurde er britischer Staatsbürger.

Er lehrte ab 1946 in Oxford. 1954 ging er in die Niederlande und lehrte an der Universität Leiden. Schon 1957/1958 ging er in die Vereinigten Staaten und lehrte an der Columbia University, wo er 1959 ordentlicher Professor für Arabisch und Islamwissenschaft wurde. 1969 wurde er dort emeritiert.

Ein bedeutender Beitrag Schachts zur Geschichte des Frühislams, ist die Erkenntnis, dass Hadithe wahrscheinlich von der Person stammen, bei der die verschiedenen Traditionslinien in die Vergangenheit zusammenlaufen, und die er als common link bezeichnet. Diese Methode wurde später auch von viele anderen Islamwisenschaftlern fruchtbar angewandt.