Columbia ligger på falllinjen från Appalacherna. Falllinjen är den punkt där båtar inte kan färdas längre uppströms och är också den punkt längst nedströms där fallande vatten kan driva en kvarn.
Statens huvudstad före 1790 var Charleston vid Atlantkusten. År 1786 beslutade lagstiftaren att flytta huvudstaden till delstatens centrum, och platsen Columbia valdes för sitt läge vid floden bara 21 km nordväst om South Carolinas geografiska centrum. Delstatens lagstiftande församling sammanträdde där för första gången 1790. Efter att ha förblivit under den lagstiftande församlingens direkta styre under de två första decennierna av dess existens, inkorporerades Columbia som en by 1805 och sedan som en stad 1854. Columbia fick en stor stimulans till utveckling när den fick en direkt vattenväg till Charleston genom Santee-kanalen. Denna kanal förband Santee- och Cooperfloderna i en 35 km lång sträcka. Den fick sin första stadga 1786 och färdigställdes 1800, vilket gör den till en av de tidigaste kanalerna i USA. I och med den ökade järnvägstrafiken upphörde den att vara i drift omkring 1850.
Columbia var en av de första planerade städerna i USA. Den är känd för sina breda gator.
Den 17 februari 1865, under inbördeskriget, förstörde en brand en stor del av Columbia medan det ockuperades av unionstrupper under ledning av general William Tecumseh Sherman.
Under 1900-talet utvecklades Columbia till ett regionalt centrum för textiltillverkning. På 1920-talet byggde affärsmän från Columbia en stor damm på Saludafloden för att producera vattenkraft. Dammen, som använde den inhemska röda lerjorden och berggrunden, var den största jorddammen i världen när den stod klar 1930. Lake Murray som bildades av dammen är 66 km lång och 23 km bred på sin bredaste punkt. När sjön stod klar var den världens största konstgjorda reservoar. Företaget som byggde dammen växte till SCANA Corporation, en av Columbias största arbetsgivare.
Staden Columbia har nyligen genomfört ett antal saneringsprojekt och har flera andra planerade. Det historiska Congaree Vista, ett område på 1 200 hektar (5 km2 ) som sträcker sig från det centrala affärsdistriktet mot Congaree-floden, har ett antal historiska byggnader som har renoverats.