Nach dem Besuch der Oberrealschule, der Präparanden-Anstalt und des Lehrerseminars in Myslowitz nahm Rinke von 1914 bis 1918 als Soldat am Ersten Weltkrieg teil. Er bestand 1919 das Abitur an der Oberrealschule in Kattowitz und absolvierte anschließend ein volkswirtschaftliches Studium, das er 1922 mit der Promotion zum Dr. rer. pol beendete. Von 1923 bis 1934 war er im Versicherungswesen tätig, zunächst als Prokurist und dann als Direktor der Oberschlesischen Versicherungsanstalten der Provinzial in Ratibor. Aufgrund des Gesetzes zur Wiederherstellung des Berufsbeamtentums wurde Rinke 1934 in den Ruhestand versetzt. Anschließend arbeitete er bei privaten Versicherungen in Breslau. Von 1939 bis 1945 nahm er als Soldat am Zweiten Weltkrieg teil. Im Februar 1945 geriet er bei Breslau in sowjetische Gefangenschaft, aus der er im Juli des gleichen Jahres entlassen wurde. Danach wurde er aus Breslau ausgewiesen.
Nach der Vertreibung aus Schlesien ließ er sich in München-Aubing nieder. Hier trat in den bayerischen Verwaltungsdienst ein und war von September 1946 bis zu seinem Eintritt in den Ruhestand 1952 als Ministerialrat in München tätig. Außerdem beteiligte er sich an der Gründung der Landsmannschaft Schlesien, die er von 1950 bis 1952 sowie 1953-1954 als Bundesvorsitzender leitete.