Gerhard Rehberg wurde am 8. Januar 1936 im ehemaligen ostpreußischen Powunden geboren und begann nach dem Schulbesuch eine Ausbildung als Berglehrling. 1966 qualifizierte er sich an der Bergschule Essen zum Steiger. Diese Tätigkeit übte er bis 1992 auf der Zeche Westerholt aus. Neben seinem Beruf betätigte er sich politisch sowie als Fußballfunktionär in seiner Heimatstadt Gelsenkirchen.
Dort gehörte er von 1975 bis 2004 als Mitglied der SPD-Fraktion dem Stadtrat an und war zuletzt Vorsitzender des Sport- und Liegenschaftsausschusses. Von 1975 bis 2004 war er ehrenamtlicher Bürgermeister der Stadt Gelsenkirchen und in dieser Funktion erster Stellvertreter des Oberbürgermeisters. Von 1994 bis 2007 war er Vorstandsvorsitzender des FC Schalke 04 und ist heute Ehrenpräsident des Vereins. Zudem besitzt er auch die Mitgliedschaft des türkischen Spitzenclubs Galatasaray Istanbul, die ihm der mittlerweile verstorbene Präsident Özhan Canaydin verlieh. Rehberg ist seit dem 16. September 2004 Ehrenbürger der Stadt Gelsenkirchen und Träger des Bundesverdienstkreuzes 1. Klasse.