Minsta kvadratmetoden – definition, linjär regression och historik
Minsta kvadratmetoden: komplett guide till definition, linjär regression, historik och nyckelpersoner (Gauss, Legendre) — förstå teori, beräkningar och tillämpningar enkelt.
Minsta kvadrat är namnet på ett förfarande inom matematiken för att konstruera en funktion från ett antal observerade värden. Den grundläggande idén är att konstruera funktionen på ett sådant sätt att summan av skillnaden mellan det observerade värdet och dess datapunkt minimeras. Eftersom skillnaden kan gå i båda riktningarna, kvadreras värdet av skillnaden för varje värde.
Carl Friedrich Gauss sade att han utvecklade metoden 1795. Han använde den för att hitta den förlorade asteroiden 1 Ceres och publicerade den 1807. Han använde idéer från Pierre-Simon Laplace. Adrien-Marie Legendre utvecklade samma metod oberoende av varandra 1805.
Definition och grundidé
Metoden för minsta kvadrat går ut på att hitta en funktion f (ofta inom en viss familj, t.ex. linjära funktioner) som bäst passar ett antal observerade datapunkter (xi, yi). Man betraktar residualen ri = yi − f(xi) för varje datapunkt och väljer f så att summan av kvadraterna av residualerna
S = Σ_i r_i^2 = Σ_i (y_i − f(x_i))^2
minimeras. Kvadrering gör att positiva och negativa fel inte tar ut varandra och lägger större vikt vid större avvikelser.
Enkel linjär regression (två parametrar)
I fallet med enkel linjär regression antar man en linjär modell
y = a + b x
där a är interceptet och b är lutningen. Minimering av S = Σ (y_i − a − b x_i)^2 ger de välkända formlerna (så kallade normalekvationer) som leder till lösningarna
b = Σ (x_i − x̄)(y_i − ȳ) / Σ (x_i − x̄)^2,
a = ȳ − b x̄,
där x̄ och ȳ är medelvärdena av x respektive y. Dessa uttryck ger den raka linje som i kvadratsummor minimerar avståndet i y-led till observerade punkter.
Allmän linjär modell och matrisform
För fler parametrar uttrycks modellen ofta i matrisform y = Xβ + ε, där X är designmatrisen, β vektorn av parametrar och ε feltermen. Minimering av ||y − Xβ||^2 leder till normalekvationen
Xᵀ X β = Xᵀ y.
Om Xᵀ X är inverterbar fås den explicita lösningen
β = (Xᵀ X)⁻¹ Xᵀ y.
Antaganden och egenskaper
- Antaganden: För klassisk (ordinär) minsta kvadrat krävs vanligen att feltermerna ε har nollmedelvärde, är oberoende, har konstant varians (homoskedasticitet) och att modellen är linjär i parametrarna.
- Gauss–Markov-satsen: Under ovanstående antaganden är minsta kvadrat-estimatorn den bästa linjära obiaserade estimatorn (BLUE) — den har lägst varians bland linjära obiaserade estimatorer.
- Statistisk tolkning: Om felen dessutom är normalfördelade blir estimatorerna maximalt sannolika (MLE) och man kan få konfidensintervall och hypotesprövningar.
Vikten av beräkningsmetoder
Den direkta beräkningen med (Xᵀ X)⁻¹ kan vara numeriskt instabil och dyrbar för stora problem. Därför används ofta stabilare metoder som QR-faktorisering eller singulärvärdesuppdelning (SVD). För mycket stora datamängder används även iterativa metoder (t.ex. gradientnedstigning eller konjugerad gradient).
Varianter och generaliseringar
- Viktad minsta kvadrat (WLS): Om observationerna har olika varians används vikter wi = 1/Var(yi) och man minimerar Σ wi (yi − f(xi))^2 för att få mer effektiva estimatorer.
- Generaliserade linjära modeller (GLM): Utvidgar idéerna till fall där responsen inte är normalfördelad (t.ex. Poisson, binomial) genom att använda länkfunktioner och maximal sannolikhet.
- Robusta metoder: Minsta kvadrat är känslig för utliggare. Alternativ som minsta absoluta avvikelse (L1), M-estimatorer eller RANSAC minskar påverkan från utliggare.
Tillämpningar
Metoden för minsta kvadrat används inom många områden: statistik och maskininlärning (regression), fysik och astronomi (bana- och parameteruppskattning), geodesi, ekonometriska modeller, signalbehandling och ingenjörsvetenskap för att passa modeller till mätdata.
Historik (kort)
Metoden har en lång och delvis omdiskuterad historia. Carl Friedrich Gauss hävdade senare att han använt metoden redan 1795 i praktiska beräkningar för astronomiska banor och publicerade en fullständig teoretisk behandling i verket Theoria motus (1809). Adrien-Marie Legendre publicerade år 1805 en beskrivning av metoden i samband med bestämning av banor för kometer och planeter, och därmed tillskrivs han ofta en självständig upptäckt. Diskussioner om prioritet och publiceringstidpunkter fortsatte under 1800-talet.
Sammanfattning
Minsta kvadratmetoden är en grundläggande och allmänt använd teknik för att anpassa funktioner till data genom att minimera summan av kvadrerade residualer. Den enkla tolkningen, goda statistiska egenskaper under rimliga antaganden och effektiva numeriska metoder för beräkning gör den till ett första val i många tillämpningar, samtidigt som robusta och generaliserade metoder finns för situationer där klassiska antaganden bryts.
Relaterade sidor
Sök