Pohl trat am 18. April 1872 als Kadett in die Kaiserliche Marine ein.
Im Rang eines Vizeadmirals war er von 1910 bis 1912 Chef des I. Marine-Geschwaders, ab 1. April 1913 Chef des Admiralstabes.
Schon zu Beginn des Ersten Weltkriegs forderte Pohl Angriffe der deutschen U-Boote gegen ausländische Handelsschiffe. Noch einmal am 9. Januar 1915 forderte er die Verschärfung des Seekriegs und den Einsatz von Unterseebooten beim Kampf gegen Handelsschiffe (siehe auch: U-Boot-Krieg).
Nach dem Gefecht auf der Doggerbank (24. Januar 1915) wurde Pohl am 2. Februar 1915 als Nachfolger von Admiral Friedrich von Ingenohl (1857-1933) Chef der deutschen Hochseeflotte.
Am 4. Februar 1915 unterzeichnete er den Befehl zum uneingeschränkten U-Boot-Krieg, wonach alle ausländischen Schiffe innerhalb der Sperrzone um Großbritannien und Irland ohne Vorwarnung versenkt werden durften. Dieser Befehl trat am 18. Februar 1915 in Kraft. Allerdings war nur eine recht kleine Flotte von 23 U-Booten einsatzbereit.
Schon bald erkrankte Pohl schwer, so dass ihm bereits am 23. Januar 1916 Vizeadmiral Reinhard Scheer (1863-1928) als Flottenchef im Amt folgte. Wenig später starb Pohl im Alter von 60 Jahren im März 1916.