(Nicht verwechseln mit Carl Baron von Prittwitz (1797-1881), kaiserlich russischer General der Kavallerie und General-Adjutant des Zaren)
Prittwitz entstammte dem alten, weit verzweigten schlesischen Adelsgeschlecht derer von Prittwitz und war der Sohn des königlich preußischen Landrats und Gutsbesitzers Karl Julius Wilhelm von Prittwitz, Gutsherr auf Gut Karisch, und der Wilhelmine Ernestine Luise von Voss.
Er heiratete in erster Ehe am 10. Mai 1824 im Königlichen Schloss zu Charlottenburg bei Berlin die königlich preußische Hofdame Henriette von Bergh (* 6. April 1804 im Prinz-Heinrich-Palais in Berlin; † 15. Januar 1829 in Potsdam), die Tochter des königlichen preußischen Oberst und Gutsbesitzers Christian Karl Maximilian von Bergh, Gutsherr auf Gut Waldow, und der Sophie Gräfin von Néale. Aus dieser Ehe stammt der königlich preußische Generalmajor Karl von Prittwitz und Gaffron (1833-1890).
Nach dem Tod seiner ersten Ehefrau heiratete Prittwitz in zweiter Ehe am 25. April 1830 auf Gut Radewitz bei Grünz (Landkreis Randow, Pommern) die königlich preußische Hofdame Antoinette Gräfin von Hacke (* 27. Juli 1799 auf Gut Radewitz; † 4. Januar 1874 in Görlitz), die Tochter des Gutsbesitzers Boguslaw Graf von Hacke und der Wilhelmine von Kummer.