Karl Joël kam am 27. März 1864 als Sohn einer Rabbinerfamilie in Hirschberg (Schlesien) zur Welt. Seine Onkel, David und Manuel Joel, waren beide bekannte Forscher für jüdische Religion und Philosophie. Karl Joël besuchte das Gymnasium in Hirschberg und erhielt dort eine humanistische Bildung. Im Alter von 18 Jahren begann er sein Studium der Philosophie in Breslau, wo damals Wilhelm Dilthey lehrte. Nach zwei Semestern wechselte Joël nach Leipzig. Dort promovierte er 1886 mit der Arbeit Zur Erkenntnis der geistigen Entwicklung und der schriftstellerischen Motive Platos.
Nach dem Studium ging er an die Universität Straßburg und beschäftigte sich weiter mit der antiken Philosophie. 1893 habilitierte er sich an der Universität Basel. Er bewarb sich fünfmal vergeblich um einen Lehrstuhl in Deutschland. Sein erstes großes Werk, Der echte und der xenophontische Sokrates fand bei dem Basler klassischen Philologen Georg Ferdinand Dümmler Anerkennung, was möglicherweise bewirkte, dass Joël 1897 an die Universität Basel berufen wurde. Joël wurde dort 1897 außerordentlicher, 1902 ordentlicher Professor. Im Jahre 1913 wurde er zum Rektor der Universität Basel gewählt. In seiner Basler Zeit behandelte er nicht nur die antike Philosophie, sondern auch andere Themen, und sein philosophischer Ansatz zeigte eine eindeutige Neigung zur Lebensphilosophie. So entstand 1912 sein Hauptwerk Seele und Welt, in dem sich sein lebensphilosophischer Ansatz am deutlichsten darstellt.
Nach dem Erscheinen von Seele und Welt zeigte seine Philosophie andere Tendenzen. Seine 1917 verfasste Schrift Die Vernunft in der Geschichte stand unter dem Eindruck des Ersten Weltkriegs. Seine späteren Werke Geschichte der antiken Philosophie und Wandlungen der Weltanschauung orientieren sich an der Geschichtsphilosophie und fanden damals große Beachtung.
Der Aufstieg des Nationalsozialismus traf ihn als Juden tief. Im Jahre 1934 starb Joël an einem Gehirnschlag und wurde auf dem jüdischen Friedhof in Basel beerdigt. Er hinterließ den größten Teil seiner Bibliothek der Universität Jerusalem.
In seinem Hauptwerk Seele und Welt legt Joël seinen organischen Ansatz vor, der die ganze Welt als organische Struktur darstellt. Die damals neue Entdeckung aus dem Bereich Physik, dass Farben oder Töne aus Zusammensetzungen von Schwingungen bestehen, veranlasste Joël, die ganze Welt als Organismus zu erklären. So interpretiert er die Anschauung als Zusammensetzung von Empfindungen, das Denken als Zusammensetzung von optischen Eindrücken. Er fasst die Welt als dynamischen Prozess auf und verneint sowohl den materialistischen als auch den idealistischen Ansatz. In diesem Werk wendet er häufig damals neue Erkenntnisse wie die Evolutionstheorie, experimentelle Psychologie und Elektrodynamik auf seine Philosophie an. Die Einflüsse von Georg Simmel und Arthur Schopenhauer sind deutlich erkennbar. Er stand in enger Beziehung zum Kreis der `Tatwelt´ des Euckenbundes in Jena und verfasste auch in deren Auftrag die Gedenkschrift auf Rudolf Eucken.