Polke wurde in Ludwigsdorf, Landkreis Oels, Schlesien, geboren. Zu seinen Geschwistern zählen die Künstler Wilfrid Polke und Sigmar Polke. Nach dem Schulbesuch in Oels und Dingelstädt studierte er Theologie in Halle/Saale, Berlin, Springfield (Ohio) (Master of Divinity) und Göttingen.
Nach dem Vikariat in Baumholder, Bensberg und Neukirchen-Vluyn wurde er am 29. Juni 1960 durch Präses Beckmann ordiniert. Von 1963 bis 1996 war er Pfarrer in Hüffelsheim. Von 1964 bis 1999 war er Redakteur bei Glaube und Heimat, Simmern. Des Weiteren war er Synodaljugendpfarrer, Synodalassessor und Abgeordneter zur Rheinischen Landessynode.
Er erforschte die naheländische Kirchengeschichte und wirkte im Vorstand der Ebernburgstiftung. Als Pfarrer im Ruhestand leitete er den Ev. Kirchenchor in Hüffelsheim. Mehrere Chorkompositionen von ihm wurden im Naheländischen Chorbuch (1990) veröffentlicht.[2]
Johannes Polke wurde mit dem Verdienstorden des Landes Rheinland-Pfalz ausgezeichnet.