Rođen je kao četvrto dijete majke Margarite i oca Pavla. Osnovnu školu pohađao je u Gospiću, kod svog strica župnika Grgura koji je o njemu brinuo, a gimnaziju u Rijeci.
Iz Rijeke je 1830. prešao u Zagreb, i upisao visoku školu Regia Academica Scientiarum, na kojoj je diplomirao. Govorio je latinski, njemački, engleski, talijanski, francuski, mađarski i španjolski jezik.
Nakon deset godina studija medicine u Pešti 1842. godine napisao je doktorsku disertaciju iz botanike na latinskome jeziku pod nazivom Taxilogia botanica, posvetivši je stricu Grguru.
Iz Beča 1846. odlazi u Srbiju, u kojoj će postići sve svoje uspjehe i ostati u njoj do kraja života. Bio je prvi predsjednik Srpske kraljevske akademije, današnje SANU. U siječnju 1849. u Ćupriji vjenčao se s Ljudmilom, kćerkom ing. Franca Kordona.
Godine 1853. imenovan je profesorom prirodopisa i agronomije na Liceju (od 1863. Velika škola) u Beogradu, gdje je osnovao prirodoslovnu zbirku, knjižnicu i prirodoslovni kabinet, a utemeljio je i botanički vrt.
Napisao je udžbenike iz zoologije (1864.), mineralogije i geologije (1867.), te botanike (1868.). Bio je rektorom Velike škole (1866.-1874.). Godine 1884. bio je postavljen za člana Državnog savjeta, što se je tada smatralo najvišim stupnjem u nečijoj činovničkoj karijeri.
Umro je 25.veljače 1888. godine u Beogradu, a pokopan je na starom beogradskom groblju. Njegovi posmrtni ostaci, po njegovoj želji, preneseni su na vrh Kopaonika. Posmrtni ostaci Josipa Pančića i njegove supruge Ljudmile prenijeti su 1951. godine u mauzolej koji je tamo sagrađen, i od tada vrh Kopaonika nosi naziv Pančićev vrh.
U rodnom Bribiru njegovo ime nosi osnovna škola, a 1954. podignut je spomenik u parku pred kulom koji je kasnije prenešen na prostor kod nove škole, veoma vrijedan rad kipara Zvonka Cara. Kopija te plastike postavljena je 1986. pred hotelom ‘Omorika’u Crikvenici, jer taj hotel nosi ime po Pančićevu otkriću. Na Trsatu je Pančićev park početkom 30ih godina uredio Josip Kulfanek (park je kasnije preimenovan u Park narodnog heroja).
U Bribiru se nalazi ruševina rodne kuće na kojoj je postavljeno spomen obilježje, te postoje neke naznake da bi se u skoroj budućnosti pokrenula obnova i da bi se kuća uredila kao trajni spomen na ovog velikog znanstvenika.
