Minste kvadraters metode
Minste kvadraters metode er en estimeringsmetode for å finne sammenhengen mellom en eller flere forklaringsvariabel og en responsvariabel. Minste kvadraters metode estimerer ved å finne en sammenheng mellom variablene som minimerer variansen. Variansen er kvadratet til avvikene mellom den observerte og den estimerte, derav navnet minste kvadraters metode.
Historie
[rediger | rediger kilde]Kontekst
[rediger | rediger kilde]Minste kvadraters metode har sine røtter i feltene astronomi og geodesi i det vitenskapsmenn og matematikere søkte å gi løsninger på utfordringene med å navigere på jordas hav i oppdagelsestiden. Den nøyaktige beskrivelsen av himmellegemenes atferd var nøkkelen til å få skip til å seile på åpent hav, der sjømenn ikke lenger kunne avhenge av observasjoner av land for å kunne navigere.
Metoden var den viktigste av flere framskritt som fant sted i løpet av 1700-tallet:[1]
- Kombinasjonen av forskjellige observasjoner foretatt under samme forhold i motsetning til ganske enkelt å forsøke sitt beste i å observere og registrere en enkelt observasjon nøyaktig. Tilnærmingen var på engelsk kjent som method of averages. Denne tilnærmingen ble brukt av Tobias Mayer mens han studerte månens librasjoner i 1750, og av Pierre-Simon Laplace i hans arbeid med å forklare forskjellene i Jupiter og Saturns bevegelser i 1788.
- Kombinasjonen av forskjellige observasjoner tatt under forskjellige forhold. Metoden kom til å bli kjent som method of least absolute deviation (minste absolutte avviks metode). Den ble utført av Roger Joseph Boscovich i hans arbeid med jordklodens form i 1757 og av Pierre-Simon Laplace for det samme problemet i 1799.
- Utviklingen av et kriterium som kan evalueres for å bestemme når løsningen med minimal feil har blitt oppnådd. Laplace prøvde å uttrykke en matematisk form for sannsynlighetstettheten for feilene og definere en metode for estimering som minimerer estimeringsfeilen. For dette formålet brukte Laplace en symmetrisk tosidig eksponentialfordeling som nå kalles Laplace-fordelingen for å modellere feilfordelingen, og brukte summen av det absolutte avviket som estimeringsfeilen. Han følte disse var de enkleste antakelsene han kunne ta, og han hadde håpet å oppnå det aritmetiske gjennomsnittet som det beste estimatet. Hans estimator var i stedet det som på engelsk kalles posterior median.
Referanser
[rediger | rediger kilde]- ^ Stigler, Stephen M. (1986). The History of Statistics: The Measurement of Uncertainty Before 1900. Cambridge, MA: Belknap Press of Harvard University Press. ISBN 0-674-40340-1.