John Brown föddes den 9 maj 1800 i Torrington, Connecticut. Han var det fjärde av åtta barn till Owen Brown (1771-1856) och Ruth Mills (1772-1808) och sonson till kapten John Brown (1728-1776). Browns förfäder var engelska puritaner från 1600-talet.
År 1805 flyttade familjen till Hudson i Ohio. Owen Brown öppnade ett garveri här. I Hudson var det mycket aktiv verksamhet mot slaveriet. Owen var en del av den. Owen tillhandahöll ett säkert hus för flyktingar från Underground Railroad. Det fanns ingen gymnasieskola i Hudson på den tiden, så John studerade på abolitionisten Elizur Wrights skola. Elizur Wright var far till Elizur Wright i närliggande Tallmadge.
Ulysses S. Grants far, Jesse R. Grant, var Owen Browns lärling.
När han var 16 år gammal lämnade Brown sin familj och flyttade till Plainfield i Massachusetts. Han gick på ett förberedande program. Kort därefter gick han till Morris Academy i Litchfield, Connecticut.
År 1820 gifte sig Brown med Dianthe Lusk. Deras första barn, John Jr, föddes 13 månader senare. År 1825 flyttade Brown och hans familj till New Richmond i Pennsylvania på jakt efter en säkrare plats (för slavar på flykt). Han köpte en mark på 81 hektar (200 acres). Han röjde en åttondel av den och byggde en stuga, en lada och ett garveri. Garveriet hade ett hemligt rum för att gömma flyende slavar. John Brown Tannery Site upptogs 1978 i det nationella registret över historiska platser. Det "var ett viktigt stopp på den [underjordiska] järnvägen och markerade sin plats i historien från 1825 till 1835". Under den perioden "hjälpte Brown uppskattningsvis 2 500 slavar att fly".
År 1829 bad några vita familjer Brown att hjälpa dem att avlägsna indianer som årligen jagade i området. Brown sa till dem: "Jag vill inte ha något att göra med [en sådan] elak handling. Jag skulle [hellre] ta min pistol och hjälpa till att [förflytta] er från landet". Under hela sitt liv upprätthöll Brown fredliga förbindelser med sina indianska grannar. Ibland följde han med dem på jaktutflykter, och han bjöd in dem att äta i sitt hem.
År 1831 dog en av hans söner. Brown blev sjuk och hans företag började gå dåligt. Detta ledde till att Brown fick stora skulder. Sommaren 1832, kort efter att en nyfödd son hade dött, dog hans fru Dianthe. Den enda familj han hade kvar var barnen John Jr, Jason, Owen och Ruth. (Ytterligare tre av deras barn dog innan de blev vuxna.) Den 14 juni 1833 gifte sig Brown med den 16-åriga Mary Ann Day (15 april 1817-1 maj 1884). Hon var från Washington County i New York. De fick 13 barn; de som levde vid John Browns död var Salmon, Annie, Sarah och Ellen.
År 1836 flyttade Brown sin familj till Franklin Mills i Ohio (numera Kent). Där lånade han pengar för att köpa mark i området. Han byggde och drev ett garveri längs Cuyahoga-floden. Hans partner var Zenas Kent.
När han 1837 fick veta att Elijah P. Lovejoy hade mördats lovade Brown: "Här, inför Gud, [med vittnen runt omkring mig], från [nu], (viger) jag mitt liv åt slaveriets utplåning!"
Han trodde starkt på kristendomen. Han ansåg att kristna borde behandla människor lika oavsett hudfärg. Många vita kristna i USA vid denna tid höll inte med om detta.