Gohlke war ab 1978 Geschäftsführer und Vorstandsmitglied der IBM Deutschland.
1981 wurde er zum Ersten Präsidenten der Deutschen Bundesbahn berufen. Er hatte vom Bundesverkehrsminister Werner Dollinger die Aufgabe gestellt bekommen, ein Sanierungskonzept für die defizitäre Staatsbahn zu formulieren. Letztlich kam Gohlke jedoch angesichts der mangelnden Bereitschaft der Öffentlichen Hand, in den Ausbau der Bahn ähnlich wie in den Straßen- und Autobahnbau zu investieren, bei der Bahnsanierung kaum über Streckenstillegungen hinaus. In seine Amtszeit fiel die Vorbereitung des Beginns des ICE-Netzes. Ebenso fielen die Einführung des Interregio-Konzeptes und die Bahncard in seine Amtszeit. Am 1. Januar 1991 wurde er durch Heinz Dürr als Vorstandsvorsitzender der Deutschen Bundesbahn abgelöst.
Er war vom 16. Juli 1990 bis 20. August 1990 kurzzeitig Präsident der Treuhandanstalt.
Ab 1991 war er Sprecher und ab 1993 Vorsitzender der Geschäftsführung des Süddeutschen Verlags. Aus dieser Funktion schied er 2000 aus Altersgründen aus.