Zeller studierte an der Humboldt-Universität zu Berlin. Von 1977 bis 1992 war er wissenschaftlicher Mitarbeiter an der Universitätsbibliothek der Humboldt-Universität zu Berlin. Von 1990 bis 1992 war er ehrenamtlich politisch tätig als Bezirksverordneter in der Bezirksverordnetenversammlung von Berlin-Mitte. 1992 bis 1996 arbeitete er hauptamtlich als Bezirksstadtrat für Umwelt und Gesundheit. Ab Mai 1995 arbeitete er auch für Stadtplanung und Bauaufsicht im Bezirksamt Mitte. Von Februar 1996 bis 25. Oktober 2006 war er Bezirksbürgermeister im Bezirk Mitte. Seit dem 26. Oktober 2006 ist er stellvertretender Bezirksbürgermeister von Berlin-Mitte und Bezirksstadtrat für Wirtschaft, Immobilien und Ordnungsamt. Bei der Europawahl 2009 wurde er in das Europäische Parlament gewählt.
Zeller ist verheiratet und hat vier Kinder. Er ist Mitglied der CDU seit 1990.
Von 2003 bis 2004 war er CDU-Landesvorsitzender in Berlin. Im Herbst 2008 wurde Zeller nach dem Rücktritt von Ingo Schmitt nochmals kommissarischer Vorsitzender. Im November 2008 wurde Zeller zum Berliner CDU-Spitzenkandidat für die Europawahlen 2009 gewählt. Er setzte sich dabei gegen den ehemaligen Staatssekretär im Verteidigungsministerium und ehemaligen Fraktionsvorsitzenden im Abgeordnetenhaus Friedbert Pflüger durch. Seit Anfang Februar 2009 ist Zeller Vorsitzender des Berliner CDU-Ortsverbandes Bernauer Straße.[1]
Zeller ist seit März 2010 CDU/EVP-Vertreter im Vorstand der überparteilichen Europa-Union Parlamentariergruppe Europäisches Parlament.[