Prittwitz entstammte dem alten, weit verzweigten schlesischen Adelsgeschlecht derer von Prittwitz und Gaffron und war der Sohn des königlich preußischen Rittmeisters, Landrats, Landesältesten und Gutsbesitzers Ernst von Prittwitz und Gaffron, Herr auf Gut Kreisewitz, und seiner zweiten Ehefrau Johanna von Prittwitz (Haus Karisch).
Er heiratete am 9. Februar 1830, an seinem 35. Geburtstag, in Schellin, Kr. Pyritz (Pommern) Domicilie von Colbe (* 27. August 1810 auf Gut Liszewo, Kr. Bromberg, Posen; † 4. März 1871 in Owinsk, Posen), die Tochter des Gutsbesitzers Ferdinand von Colbe, Herr auf Liszewo, und der Henriette Nehring.