Grzimek entstammte der schlesischen Familie Grzimek und war Sohn von Richard und Maria Grzimek. Er heiratete am 14. November 1911 in Bonn Emmy Jansen (* 1888; † 1983). Das Ehepaar hatte die sechs Kinder Ingeborg, Gisela, Günther, Olga, Waldemar und Emmy-Maria. Günther und Emmy sind auf dem von Sohn Günther geschaffenen Stadtfriedhof Biberach an der Riß beerdigt, auf dessen Rasenhügel die überlebensgroße Plastik Reiter auf strauchelndem Pferd von Sohn Waldemar steht.
Nach dem Abitur am Breslauer Kaiser-Wilhelm-Gymnasium im Jahr 1906 trat Grzimek das Studium der Rechtswissenschaften an den Universitäten Breslau und München an. Im ersten Semester wurde er Mitglied der Breslauer Studentenverbindung Wratislavia (heute Königstein-Wratislavia). Er promovierte 1910 mit der Dissertation Die Rechtsgrundsätze der Begebungskonsortien an der Universität Breslau zum Dr. juris. Während seines Referendariats arbeitete er am Landgericht Köln. In einem dortigen Tennisklub lerne er seine spätere Ehefrau Emmy Jansen kennen, mit der er ab Januar 1911 verlobt war.
Bereits im Oktober 1906 wurde er in das Feldartillerie-Regiment „von Peucker“ (1. Schlesisches) Nr. 6 eingezogen und wurde im drauf folgenden Jahr zum Leutnant der Reserve ernannt. Am 3. März 1908 rettete Grzimek einen ertrinkenden Mann während eines Hochwassers aus der Oder, wofür ihm die Preußische Rettungsmedaille am gelb-weißen Band verliehen wurde.
Der Erste Weltkrieg, an dem er als Reserveoffizier teilnahm, unterbrach zunächst seine juristische Laufbahn, doch konnte er in den letzten Kriegsjahren eine Anwaltspraxis in Rastenburg (Ostpreußen) eröffnen, der er sich nach dem Krieg ganz zuwandte. Nach dem Kapp-Putsch von 1920 berief ihn die preußische Staatsregierung als Oberpräsidialrat im Range eines Regierungspräsidenten zum Stellvertreter des neuen Oberpräsidenten Ernst Siehr in die Regierung der Provinz Ostpreußen. Den beiden gelang die Wiederherstellung der Lage in der Provinz, die nach dem Putsch und während der Zeit der Abstimmung über den Verbleib des Südteils Ostpreußens bei Deutschland kritisiert worden war. Eine weitere bedrohliche Situation entstand mit dem Übertreten der 4. sowjetischen Armee auf ostpreußisches Gebiet nach dem polnischen Sieg im Polnisch-Sowjetischen Krieg im August 1920. Entgegen den Bestimmungen des Versailler Vertrages und auf eigene Verantwortung stellte die Provinzialregierung zur Internierung bewaffnete Orts- und Grenzwehren auf. Nach Festigung der politischen Verhältnisse schied er nach eineinhalbjähriger Tätigkeit aus der Regierung aus, um seinen eigentlichen Beruf auszuüben.
Nachdem Grzimek 1924 als Vorsitzender der Deutsche Demokratische Partei Ostpreußens zum Abgeordneten des Preußischen Landtags gewählt wurde, zog er 1925 mit seiner Familie nach Berlin, wo er eine neue Anwaltspraxis eröffnete. Grzimek gehörte dem Preußischen Landtag bis 1931 an.
Aufgrund seiner heftigen Kritik an der Propaganda des Nationalsozialismus, auch nach 1933, wurde seine Tätigkeit stark beschnitten und das Notariat entzogen. Daraufhin wandte er sich hauptsächlich unpolitischen Strafprozessen zu. Nach Ausbombung 1944 zog er mit seiner Familie nach Württemberg, wo er in Ravensburg erneut eine Anwaltspraxis beim Amts- und Landgericht errichtete.
Nach dem Zweiten Weltkrieg bestätigte er seinen guten Namen als Strafverteidiger in über 900 Vertretungen bei den französischen Besatzungsgerichten und in zahllosen Strafprozessen. Er trat der CDU bei und wurde Kreisvorsitzender (später Ehrenvorsitzender) in Ravensburg. In der Europa-Union, der er ebenfalls angehörte, war er stellvertretender Vorsitzender im Landesverband Baden-Württemberg.
Er war 1966 bis 1968 Mitglied des documenta-Rates zur 4. documenta im Jahr 1968 in Kassel.