Jedin genoss eine humanistische Bildung, studierte ab 1918 Theologie und Geschichte in München, Freiburg im Breisgau und Breslau, wo er 1924 zum Priester geweiht wurde. 1925 wurde er bei dem bekannten Kirchenhistoriker Franz Xaver Seppelt promoviert. 1930 später habilitierte er sich mit einer Biographie des Kardinals Girolamo Seripando. Diese Arbeit entstand während eines Studienaufenthalts in Rom von 1926 bis 1930.
Jedin war Kaplan am Campo Santo Teutonico, dann Stipendiat der Görres-Gesellschaft. Bis 1933 lehrte er als Privatdozent an der Katholisch-theologischen Fakultät der Universität Breslau, dann wurde ihm von den Nationalsozialisten die venia legendi entzogen, da seine Mutter jüdischer Abstammung war. Im Oktober 1933 ging er erneut nach Rom. 1936 berief ihn Kardinal Bertram zum Bistumsarchivar, die volle Einsetzung in dieses Amt wurde jedoch von der Regierung verhindert. Nach seiner vorübergehenden Verhaftung nach der Reichspogromnacht 1938 plante Jedin, nach Rom zurückzukehren, was ihm jedoch erst ein Jahr später möglich wurde. Dort widmete er sich, gefördert von Kardinal Giovanni Mercati, der Arbeit an der Geschichte und an der Edition der Akten des Konzils von Trient. Während seiner römischen Jahre stand er in enger Verbindung mit den ebenfalls aus Deutschland stammenden Kirchenhistorikern Hermann Hoberg und Friedrich Kempf SJ. Als die Wehrmacht 1943/44 Rom besetzte, konnte Jedin den Vatikan nicht verlassen.
1946 wurde er Honorarprofessor für Kirchengeschichte an der Katholischen Theologischen Fakultät in Bonn, 1949 nahm er den Ruf auf ein Extraordinariat in Bonn an und kehrte nach Deutschland zurück. 1951 wurde er zum Ordinarius für mittlere und neuere Kirchengeschichte ernannt, 1965 emeritiert. Am Zweiten Vatikanischen Konzil von 1962 bis 1965 nahm Jedin als sogenannter Peritus, d.h. als beratender Theologe teil, nachdem er vor dessen Eröffnung einer vorbereitenden Kommission angehört hatte.