Hermann von Randow machte das Abitur an der Ritterakademie St. Johannes in Liegnitz und trat am 1. Oktober 1864 – 17½ Jahre alt – als Fahnenjunker in das Rheinische Jäger-Bataillon Nr. 8 ein. Mit diesem machte er den Krieg 1866 gegen Österreich mit und nahm an den Kämpfen bei Hühnerwasser, Münchengrätz und Königgrätz teil. Am 20. Juli 1866, dem Abend der Schlacht von Königgrätz, wurde er im Felde zum Leutnant befördert. Auch 1870 gegen Frankreich war Hermann von Randow wieder dabei und wurde bei Gravelotte beim Todessturm der 8. Jäger durch die Mance-Schlucht auf St. Hubert von drei Kugeln getroffen und schwer verwundet.
1871 wurde Randow zur Kriegsakademie kommandiert, wo er bis 1874 blieb. 1873 wurde er zum Oberleutnant befördert und 1875 bis 1877 zum Großen Generalstab abkommandiert. Während dieser Zeit wird er am 11. Januar 1877 in das Jäger-Bataillon Nr. 5 in Görlitz versetzt, am 10. August zum Hauptmann befördert und als Lehrer an die Kriegsschule in Neisse kommandiert. Am 16. September 1881 wird er Kompaniechef im 3. Niederschlesischen Infanterie-Regiment Nr. 50.
Nach seiner Zeit beim Großen Generalstab heiratet Hermann in Gießen am 13. April 1878 die Apothekerstochter Rosa Therese Müller. Aus dieser Ehe gingen drei Kinder hervor, die Söhne Gero und Alfred von Randow und die Tochter Helma. Am 22. März 1889 kam Hermann als Major zum 5. badischen Infanterie-Regiment Nr. 113 in Freiburg im Breisgau. Ein Jahr später wurde er Bataillonskommandeur im Infanterie-Regiment Graf Werder (4. Rheinisches) Nr. 30 in Saarlouis. Im Alter von 44 Jahren wurde er 1891 zum Direktor der 6. Kriegsschule in Hersfeld ernannt, welchen Posten er bis 1897 bekleidete. In dieser Zeit – 1894 – wird er Oberstleutnant. 1897 schied er aus der Kriegsschule aus und übernahm unter Beförderung zum Oberst das Kommando über das 5. Westfälische Infanterie-Regiment Nr. 53 in Köln. Am 16. Juni 1900 schließlich erfolgte die Beförderung zum Generalmajor und Kommandeur der 24. Infanterie-Brigade in Neisse. Am 22. März 1903 – im Alter von 56 Jahren – wird er zum Generalleutnant befördert.