Im September 1905 trat Fellgiebel als Fahnenjunker in das Telegraphen-Bataillon Nr. 2 der preußischen Armee ein und begann damit seine militärische Laufbahn. Während des Ersten Weltkrieges war er im Generalstab tätig. Nach Kriegsende erfolgt seine Übernahme in die Reichswehr und Fellgiebel kam als Generalstabsoffizier nach Berlin. Er absolvierte die Stabsoffizierslaufbahn und wurde am 1. April 1928 zum Major befördert. 1933 erfolgte die Beförderung zum Oberstleutnant, 1934 zum Oberst und 1938 die Ernennung zum Generalmajor. Im August 1938 wurde er zum Chef des Heeresnachrichtenwesens und zum Chef der Wehrmachtnachrichtenverbindungen zum Oberkommando der Wehrmacht ernannt und 1940 zum General der Nachrichtentruppe und Inspekteur der Nachrichtentruppe befördert.
Durch die Bekanntschaft mit Generaloberst Ludwig Beck, der sein Vorgesetzter war, und dessen Nachfolger Generaloberst Franz Halder kam Fellgiebel mit den militärischen Widerstandskreisen in Kontakt. Fellgiebel war maßgeblich an der Vorbereitung der Operation Walküre beteiligt und versuchte wie vereinbart nach der Explosion der Bombe am 20. Juli 1944 um 12:42 Uhr in der Lagebaracke im Sperrkreis 1 a, in der Adolf Hitler eine Besprechung abhielt, das Führerhauptquartier in der Wolfsschanze von allen Nachrichtenverbindungen abzuschneiden. Er gab dazu den Befehl, die Telefonanlage abzuschalten, was aber bereits nach wenigen Minuten widerrufen wurde. Außerdem betraf diese Unterbrechung nicht gesondert vorhandene Nachrichtenverbindungen der SS und eine Ersatzzentrale im Sperrkreis 2.[1][2] Daher erhielt Propagandaminister Joseph Goebbels bereits gegen 13 Uhr in Berlin Kenntnis vom Attentat, wenngleich noch ohne nähere Angaben. Etwa um die gleiche Zeit hatte Fellgiebel erfahren, dass Hitler noch lebte. In der Absicht den Putsch abbrechen zu lassen, rief er daraufhin General Thiele im Bendlerblock an, wo die Verschwörer auf eine Nachricht warteten, und meldete mehrdeutig: „Es ist etwas Furchtbares passiert, der Führer lebt“. Auch der Mitverschwörer Oberst Hahn bestätigte Thiele in einem weiteren Telefonat aus der Wolfsschanze, dass Hitler das Attentat überlebt hatte. Daraufhin wurden die im Walküre-Plan vorgesehenen Vorgänge zunächst nur teilweise ausgelöst.
Noch am 20. Juli 1944 wurde Fellgiebel in der Wolfsschanze verhaftet. Ebenso wurde sein Bruder, Oberstleutnant Hans Fellgiebel, festgenommen.[3] Es folgte eine Anklage gegen Erich Fellgiebel vor dem Volksgerichtshof, wo er von Roland Freisler am 10. August 1944 für schuldig befunden und zum Tode verurteilt wurde. Am 4. September 1944 wurde Fellgiebel im Strafgefängnis Berlin-Plötzensee hingerichtet.[