Fränkel, Sohn eines Studienrates, legte 1928 in Liegnitz das Abitur ab und studierte anschließend evangelische Theologie in Bethel, Breslau und Tübingen. Schon als Student trat er in die Bekennende Kirche (BK) ein und ließ sich 1936 für deren Kirchendienst ordinieren. Er übernahm noch im gleichen Jahr das Pfarramt in Kreuzburg und wechselte 1938 nach Seidenberg.
Als Mitglied der radikalen Naumburger BK lehnte er die Zusammenarbeit mit den Deutschen Christen (DC) ab. Ebenso wenig kam es für ihn in Frage, mit dem von den Nationalsozialisten eingesetzten Provinzialkirchenausschuss zu kooperieren. Er wurde zum Militärdienst eingezogen und mit schweren Verwundungen 1943 entlassen.
Er kehrte nach Breslau zurück, wo er 1945 gemeinsam mit Ernst Hornig in Görlitz das neue Konsistorium der schlesischen evangelischen Kirche errichtete, nachdem die Kirchenleitung aus Breslau vertrieben worden war. 1952 wurde er Oberkonsistorialrat und war von 1964 bis 1979 in der Nachfolge Hornigs Bischof der Evangelischen Kirche des Görlitzer Kirchengebietes.
Zugleich war Fränkel Mitglied des Rates der EKU und der Konferenz der Kirchenleitungen in der DDR. 1977 wurde er als Delegierter zur Vollversammlung des Ökumenischen Rates der Kirchen nach Daressalam entsandt.
Als mit Unterzeichnung der Schlussakte von Helsinki 1975 immer mehr Menschen die DDR mit Hilfe eines Ausreiseantrags verlassen wollen, vertrat Bischof Hans-Joachim Fränkel die Meinung, es sei Pflicht der Kirchen für die Menschenrechte - also auch für das Recht auf freie Wahl des Wohnortes – einzutreten. Damit isolierte er sich von nicht wenigen seiner Amtsbrüder.
Ab 1992 wurde das Görlitzer Gebiet umbenannt in Evangelische Kirche der schlesischen Oberlausitz und ist seit 2004 Teil der Evangelischen Kirchen Berlin-Brandenburg-schlesische Oberlausitz.
Seinen Ruhestand verbrachte Fränkel in Marburg. 1965 erhielt er von der Theologischen Fakultät Bonn die Ehrendoktorwürde und 1993 die Ehrenbürgerwürde von Görlitz.
In den Nachrufen wurde hervorgehoben, dass Fränkel sich stets dem ideologischen Wahrheits- und Totalanspruch des NS-Staates und des DDR-Regimes widersetzte und dafür spürbaren Repressionen ausgesetzt war. Seine Vorträge zu Menschenrechtsfragen galten als bedeutende Beiträge der DDR zum Helsinki-Prozess.