Koch studierte Germanistik, Klassische Archäologie und Kunstgeschichte in Leipzig und München. Dort wurde er 1903 im Fach Germanistik mit seiner Arbeit Das Verhältnis von Drama und Geschichte bei Friedrich Hebbel promoviert. In München gehörte er zum Umkreis von Stefan George und wird von Franziska Gräfin zu Reventlow in Von Paul zu Pedro 1912 erwähnt.
Von Adolf Furtwängler zur Archäologie hingezogen und von Franz Studniczka ausgebildet, war Koch von 1910-1911 und 1913-1914 als wissenschaftlicher Hilfsarbeiter unter Richard Delbrück am Deutschen Archäologischen Institut in Rom sowie 1912–1913 in Athen tätig. 1913 wurde er an der Universität Bonn für Klassische Archäologie habilitiert. 1918 berief die Universität Jena den jungen Privatdozenten als außerordentlichen Professor zum Nachfolger von Botho Graef, dem er auch im Vorsitz des Jenaer Kunstvereins folgte. 1924 wurde er zum ordentlichen Professor ernannt. 1929–1931 lehrte Koch an der Universität Leipzig, dann an der Universität Halle bis zu seiner Emeritierung 1950. Von 1951 bis 1953 leitete er kommissarisch das Archäologische Institut Leipzig und lehrte danach wieder in Halle bis zu seiner Flucht aus der DDR 1959. Verheiratet war Koch mit der Kunsthistorikerin Hanna Koch, geb. Kämnitz.[1] Er war mit dem Maler Charles Crodel und dem Schriftsteller Franz Hessel befreundet.