De första dagarna
Whittakers exakta födelsedatum är inte känt. Han döptes i Quarndon nära Derby den 8 februari 1813. Hans far hette också Joseph och var en arbetare som gifte sig med Sarah (född Clarke). Sonen rapporteras ibland som född i Breadsall 1815.
Australisk botanik
År 1838 åkte Whittaker på en resa till Austratia som trädgårdsmästare. Hans nya arbetsgivare var överstelöjtnant George Gawler, som nyligen hade utsetts till Sydaustraliens andra guvernör. Whittaker, sju andra anställda från Derbyshire, Gawler och hans fru och barn anlände med Pestonjee Bomanjee den 12 oktober 1838 till Adelaide. De hade rest i fyra månader via Rio de Janeiro. När Whittaker och Gawler anlände fann de dåliga förhållanden så trädgårdsarbete var inte viktigt.
Whittaker samlade växter runt Adelaide i södra Australien 1839-40. Whittaker reste till platser i södra Australien där han samlade in ett stort antal växtprover. Bland annat Mount Lofty range, Mount Jagged, River Torrens, River Murray och Hindmarsh River. Whittaker var den första personen som samlade in växter från bergsdistriktet Fleurieuhalvön, Encounter Bay och Mount Barker.
Whittaker stannade i Sydaustralien i nitton månader innan han seglade hem med Katherine Stuart Forbes som avgick från Port Adelaide den 11 april 1840. På vägen hem stannade båten fyra gånger vid Kangaroo Island, Mauritius, St Helena och Corvo Island på Azorerna. Whittaker samlade in ytterligare växtprover när båten låg i dessa hamnar.
Botanik i Derbyshire
Whittaker kom tillbaka till England den 23 september 1840 och hade 1844 börjat samla in växter igen. Hans verksamhet nådde sin höjdpunkt 1851 och 52 och upphörde någon gång efter 1867. Han samlade från många delar av Derbyshire, men han reste ibland utanför grevskapet, bland annat till Bulwell i Nottinghamshire, Rhyl och Denbigh i Wales.
År 1846 bodde han i Breadsall i Derbyshire där han var lärare vid Breadsall Boys School. Härifrån brevväxlade han med Sir William J. Hooker, direktör för Kew Botanic Gardens. Whittaker hade nämligen planerat att skriva ett antal böcker om brittisk botanik och behövde därför byta ut några av sina australiensiska och relaterade prover. Whittaker samlade in cirka 300 växter som så småningom förvärvades av Kew. Whittakers samlingar från andra länder än Storbritannien finns nu i Kew Gardens. Whittaker fick arten av solros Drosera whittakeri uppkallad efter sig själv.
I februari 1847 blev Whittaker medlem i Botanical Society of London och mellan 1849 och 1853 utbytte han växtprover med dess medlemmar. Därefter gick han med i Botanical Exchange Club och slutligen Botanical Locality Record Club. År 1847 hade han tillräckligt med information för att publicera "en lista över sällsynta växter som hittats i närheten av Breadsall, Derbyshire". Den innehöll en blandning av både sällsynta och relativt vanliga arter och ger en bra information om den botaniska mångfalden i området vid den tiden. År 1857 var han skolmästare för nittio barn i Breadsall i Derbyshire, en by där bland annat naturforskarna pastor Henry Harpur Crewe och Francis Darwin bodde. Skolan finansierades av familjen Harpur-Crewe.
Whittaker bodde i den lilla byn Morley nära Derby i slutet av 1850-talet. Han bodde tillsammans med sin fru Mary i huset Ferriby Brook. Han fortsatte att undervisa där och tog upp till tolv elever i sina klasser, vanligtvis efter att de hade lämnat den lokala skolan och var mellan åtta och arton år gamla. Så småningom upprättade han en stor samling av levande växter. Lokala trädgårdsgrupper rapporterade att han odlade över 1 300 olika arter. År 1864 publicerade han arbeten som hänvisade till den lokala utrotningen av damtoffelorkidén Cypripedium calceolus tillsammans med pastor Henry Harpur Crewe. År 1871 slutade han som skolmästare och blev "fröman och florist". År 1881 blev han framgångsrikt "plantskola och jordbrukare". Han bodde med två tjänare och den tjugoårige William Whitehead i sitt hus. Whitehead skulle så småningom bli delägare i deras trädgårdsföretag.
Whittakers växtsamlande verksamhet började minska runt 1863, ungefär samtidigt som hans botaniska partner Henry Harpur Crewe flyttade för att bli rektor i Drayton Beauchamp i Buckinghamshire. Följande år samarbetade de för att ta fram en manuskriptförteckning över de viktigaste blommande växterna och ormbunkarna i Derbyshire. Hans partnerskap med Crewe varade i minst arton år och var mycket produktivt. Harpur Crewes familj bodde i närheten av Calke Abbey och de hade finansierat skolan i Breadsall.
I slutet av 1880-talet gav Joseph Whittaker värdefull hjälp och tillhandahöll en rad växtprover till pastor W.H. Painter som förberedde sig på att publicera en bok om Derbyshires flora. Många av Whittakers prover och register användes också av William Richardson Linton, kyrkoherde i Shirley, i ytterligare en Flora of Derbyshire 1903.
Whittaker dog den 2 mars 1894. Genom en populär prenumeration byggdes en läsplatta och en graverad mässingsinskription till minne i St Matthew's Church, Morley, där han var kyrkvaktmästare och där han begravdes.
