Mindste kvadraters metode

Der er for få eller ingen kildehenvisninger i denne artikel, hvilket er et problem. Du kan hjælpe ved at angive troværdige kilder til de påstande, som fremføres i artiklen.

Lineær regression til datapunkter. Forskellen i y-værdier (grøn) bruges til at finde den optimale regression.

Mindste kvadraters metode er en standard fremgangsmåde til at finde den bedste løsning for et overbestemt system, for eksempel et ligningssystem med flere ligninger end ubekendte. Den bedste, skal her forstås som dén løsning der giver den mindste sum af kvadraterne på fejlene i hver enkelt ligning.

Mindste kvadraters metode benyttes blandt andet i regressionsanalyse, for eksempel til at finde den bedste rette linje der beskriver en linær sammenhæng mellem to dataset. Metoden minimerer her summen af kvadraterne på residualerne (de lodrette afstande mellem de enkelte punkter og den rette linje).

Dette kan gøres grafisk ved at tegne punkterne fra et datasæt ind i et koordinatsystem og tegne en ret linje, som ligger nogenlunde der, hvor man tror, den bedste rette linje kan ligge. Herefter tegnes de lodrette afstande mellem punkterne og linjen. Disse punkter kvadreres så. Afstanden mellem punktet og linjen er den ene side i et kvadrat. Man kan så rykke rundt på linjen ved at rotere den og parallelforskyde den, indtil det samlede areal af alle kvadraterne er mindst muligt. Heraf navnet ”Mindste kvadraters metode”.

Der er dog også en anden mulighed, som man kan bruge, hvis man vil slippe for det grafiske. Denne måde er god, da den er mere præcis og mere tilgængelig, hvis man skal regne det i hånden:

Når man har den lodrette afstand mellem punktet og linjen, sætter man afstanden i anden og lægger den sammen med alle de andre punkters kvadrerede afstande. Det udtryk, man her får, skal differentieres. Først differentieres det med hensyn til den ene ubekendte konstant, derefter differentieres det med den anden ubekendte konstant. På dette tidspunkt har man fået to ligninger med to ubekendte. For at løse disse ligninger isolerer man først den ene ubekendte konstant i den ene ligning, hvorefter man sætter resultatet ind på den ubekendte konstants plads i den anden ligning. Bagefter gøres det samme med den anden ubekendte. Når man har fundet de to værdier, kan man sætte dem ind i ligningen for en lineær regression. Man har nu forskriften for den bedste rette linje.

Regressioner

Proportionalitet

En af de simple modeller, man kan fitte sine data til er den proportionale, der er en lineær regression, hvor man kræver, at skæringen med y-aksen er lig med nul. Modellen er altsâ givet ved:

${\displaystyle f(x)=ax}$

Det ses, at det eneste parameter, vi skal bestemme, er ${\displaystyle a}$. For et givent datapunkt ${\displaystyle (X_{i},Y_{i})}$ er afstanden ${\displaystyle l}$ til fittet altså:

${\displaystyle l_{i}=\left|f(X_{i})-Y_{i}\right|=\left|aX_{i}-Y_{i}\right|}$

Dermed er arealet af det tilhørende kvadrat givet ved:

${\displaystyle A_{i}=l_{i}^{2}=(aX_{i}-Y_{i})^{2}}$

Det totale kvadratareal er summen af de enkelte arealer:

${\displaystyle A=\sum _{i}(aX_{i}-Y_{i})^{2}}$

For at finde det ${\displaystyle a}$, der minimerer arealet, vil vi sætte differentialkvotienten af ${\displaystyle A}$ mht. ${\displaystyle a}$ lig med 0. Løsningen til denne ligning kan vi kalde ${\displaystyle {\tilde {a}}}$.

${\displaystyle \left({\frac {{\text{d}}A}{{\text{d}}a}}\right)_{a={\tilde {a}}}=0}$

Denne ligning kan vi nu løse:

${\displaystyle {\begin{aligned}\sum _{i}2({\tilde {a}}X_{i}-Y_{i})X_{i}&=0\\\sum _{i}({\tilde {a}}X_{i}^{2}-Y_{i}X_{i})&=0\\{\tilde {a}}\sum _{i}X_{i}^{2}-\sum _{i}Y_{i}X_{i}&=0\\{\tilde {a}}\sum _{i}X_{i}^{2}&=\sum _{i}Y_{i}X_{i}\\{\tilde {a}}&={\frac {\sum _{i}Y_{i}X_{i}}{\sum _{i}X_{i}^{2}}}\\\end{aligned}}}$

Hvis vi på begge sider af brøkstregen dividerer med antallet ${\displaystyle N}$ af datapunkter, får vi vores estimat udtrykt i forventningsværdier i stedet:

Vi har nu et estimat for hældningen af en proportional sammenhæng givet de målte X- og Y-værdier.

Linearitet

Vi kan nu gøre modellen mere kompliceret ved at lade skæring med y-aksen være en fri parameter. Vores model vil da hedde:

${\displaystyle f(x)=ax+b}$,

Vi skal nu estimere både ${\displaystyle a}$ og ${\displaystyle b}$. Vores samlede kvadratareal er givet ved:

${\displaystyle A=\sum _{i}(aX_{i}+b-Y_{i})^{2}}$

Vi får her et udtryk for den afledte for hver parameter. Når vi afleder med hensyn til ${\displaystyle a}$ skal ${\displaystyle b}$ holdes konstant og omvendt, hvilket vil sige, at vi bruger partielle afledte. Vi har for ${\displaystyle b}$ at:

${\displaystyle \left({\frac {\partial A}{\partial b}}\right)=\sum _{i}2(aX_{i}+b-Y_{i})}$

Som før kan den estimerede værdi markeres med en tilde, og den afledte kan sættes lig nul:

${\displaystyle {\begin{aligned}\sum _{i}2({\tilde {a}}X_{i}+{\tilde {b}}-Y_{i})&=0\\{\tilde {a}}\sum _{i}X_{i}+\sum _{i}{\tilde {b}}-\sum _{i}Y_{i}&=0\\{\tilde {a}}\sum _{i}X_{i}+N{\tilde {b}}-\sum _{i}Y_{i}&=0\\{\tilde {a}}\langle X\rangle +{\tilde {b}}-\langle Y\rangle &=0\end{aligned}}}$

Hvis vi har ${\displaystyle N}$ datapunkter, kan vi omskrive summen af ${\displaystyle {\tilde {b}}}$. For ${\displaystyle a}$:

${\displaystyle \left({\frac {\partial A}{\partial a}}\right)=\sum _{i}2(aX_{i}+b-Y_{i})X_{i}}$

Så:

${\displaystyle {\begin{aligned}\sum _{i}2({\tilde {a}}X_{i}+{\tilde {b}}-Y_{i})X_{i}&=0\\{\tilde {a}}\sum _{i}X_{i}^{2}+{\tilde {b}}\sum _{i}X_{i}-\sum _{i}Y_{i}X_{i}&=0\\{\tilde {a}}\langle X^{2}\rangle +{\tilde {b}}\langle X\rangle -\langle YX\rangle &=0\end{aligned}}}$

Vi har nu et ligningssystem med to ligninger og to ukendte parametre:^[1]

${\displaystyle {\begin{aligned}{\tilde {a}}\langle X\rangle +{\tilde {b}}-\langle Y\rangle &=0\\{\tilde {a}}\langle X^{2}\rangle +{\tilde {b}}\langle X\rangle -\langle YX\rangle &=0\end{aligned}}}$

Vi kan starte med at isolere ${\displaystyle {\tilde {b}}}$ i den første ligning:

${\displaystyle {\tilde {b}}=\langle Y\rangle -{\tilde {a}}\langle X\rangle }$

Dette kan nu indsættes i den anden ligning:

${\displaystyle {\begin{aligned}{\tilde {a}}\langle X^{2}\rangle +(\langle Y\rangle -{\tilde {a}}\langle X\rangle )\langle X\rangle -\langle YX\rangle &=0\\{\tilde {a}}\langle X^{2}\rangle +\langle Y\rangle \langle X\rangle -{\tilde {a}}\langle X\rangle ^{2}-\langle YX\rangle &=0\\{\tilde {a}}(\langle X^{2}\rangle -\langle X\rangle ^{2})+\langle Y\rangle \langle X\rangle -\langle YX\rangle &=0\\{\tilde {a}}(\langle X^{2}\rangle -\langle X\rangle ^{2})&=\langle YX\rangle -\langle Y\rangle \langle X\rangle \\{\tilde {a}}&={\frac {\langle YX\rangle -\langle Y\rangle \langle X\rangle }{\langle X^{2}\rangle -\langle X\rangle ^{2}}}\end{aligned}}}$

Vi har nu et estimat for a. Dette kan indsættes i udtrykket for ${\displaystyle {\tilde {b}}}$:

${\displaystyle {\begin{aligned}{\tilde {b}}&=\langle Y\rangle -{\frac {\langle YX\rangle -\langle Y\rangle \langle X\rangle }{\langle X^{2}\rangle -\langle X\rangle ^{2}}}\langle X\rangle \\{\tilde {b}}&={\frac {\langle X^{2}\rangle -\langle X\rangle ^{2}}{\langle X^{2}\rangle -\langle X\rangle ^{2}}}\langle Y\rangle -{\frac {\langle YX\rangle -\langle Y\rangle \langle X\rangle }{\langle X^{2}\rangle -\langle X\rangle ^{2}}}\langle X\rangle \\{\tilde {b}}&={\frac {\langle X^{2}\rangle \langle Y\rangle -\langle X\rangle ^{2}\langle Y\rangle -\langle YX\rangle \langle X\rangle +\langle Y\rangle \langle X\rangle ^{2}}{\langle X^{2}\rangle -\langle X\rangle ^{2}}}\\{\tilde {b}}&={\frac {\langle X^{2}\rangle \langle Y\rangle -\langle YX\rangle \langle X\rangle }{\langle X^{2}\rangle -\langle X\rangle ^{2}}}\end{aligned}}}$

Vi har nu endelig to færdige udtryk for at finde en lineær regression vha. mindste kvadraters metode:^[2]

Kildehenvisninger

Spire Denne artikel om matematik er en spire som bør udbygges. Du er velkommen til at hjælpe Wikipedia ved at udvide den.