Weiss war der Sohn des Arztes Josef Weiss und dessen Ehefrau Josefa, geb. Vielhauer, und Zwillingsbruder von Gustav Adolf Weiss (1837–1894), der später als Professor für Botanik in Prag wirken sollte.
Er verbrachte seine ersten Jahre in England in der Nähe von Richmond, wo sein Vater eine hydrotherapeutische Einrichtung aufgebaut hatte. Nach dem Tod des Vaters kehrte die Familie nach Österreich zurück und von 1847 bis 1855 besuchte er das Gymnasium in Troppau. Danach studierte er Mathematik, Astronomie und Physik an der Universität Wien und wurde 1860 zum Dr. phil promoviert. Seit 1858 war er Assistent an der Universitätssternwarte Wien, deren Direktor Karl Ludwig von Littrow war. 1869 wurde er Honorarprofessor und 1875 ordentlicher Professor an der Wiener Universität.
In Zusammenhang mit dem Bau einer neuen Sternwarte der Universität außerhalb von Wien reiste Weiss 1872 in die USA mit dem Ziel, sich über Sternwarten und Instrumente dort zu informieren.
Als Littrow noch vor Fertigstellung der neuen Sternwarte 1878 starb, wurde Weiss dessen Nachfolger. Unter seiner Leitung wurden die beiden Hauptinstrumente beschafft und aufgestellt, 1882 der 27-Zoll-Refraktor von Grubb, damals der größte Refraktor der Welt, und der 11¾-Refraktor von Alvan Graham Clark.
Weitere Reisen unternahm Weiss zur Beobachtung von Finsternissen und anderen astronomischen Ereignissen:
- 1861 Griechenland (totale Sonnenfinsternis)
- 1867 Dalmatien (ringförmige Sonnenfinsternis)
- 1868 Aden (totale Sonnenfinsternis)
- 1870 Tunis (totale Sonnenfinsternis)
- 1874 Jassy (Venustransit)
1872 heiratete er Adelinde Fenzl (geb. 1845), mit der er sieben Kinder hatte. Bis zu seiner Emeritierung 1910 blieb er Direktor der Universitätssternwarte. Am 21. Juni 1917 starb er nach langer Krankheit im Alter von 79 Jahren.