Erwin Koschmieder studierte ab 1919 Klassische und Slawische Philologie an der Universität Breslau, wo er 1922 promovierte. Anschließend trat er eine Stelle an der Universitäts- und Staatsbibliothek an. 1926 habilitierte er sich mit der Arbeit „Studien zum slavischen Verbalaspekt“. 1931 wurde er an die (damals noch polnische) Universität Wilna berufen, 1939 als Nachfolger Erich Bernekers nach München. Hier lehrte er bis zu seiner Emeritierung im Jahr 1964.
Ab 1942 war er Mitglied der Bayerischen Akademie der Wissenschaften, ab 1970 korrespondierendes Mitglied der Österreichischen Akademie der Wissenschaften.