de Kleinste Kwadraten methode

Inleiding
Het verband tussen twee rijtjes getallen is aan te geven met

• een tabel
• een grafiek
• een formule

Elk tweetal punten van de tabel kunnen als punt (x,y) in een
coördinatenstelsel worden getekend.
Daarbij kan dan de best passende formule worden gezocht.

Bekijk als voorbeeld het plaatje rechts:

getekend zijn de punten (x₁,y₁)....(x₅,y₅) en gevraagd
wordt de best passende tweedegraads polynoom door deze punten.

Onder "best passend" verstaan we die grafiek, waarbij de
som van de kwadratische afwijkingen minimaal is.
Die afwijkingen zijn rechts gestippeld getekend.

De gebruikte "Kleinste Kwadraten Methode", om de best passende
polynoom door de punten te vinden, is een fraaie toepassing
van de lineaire algebra.

In mijn grafieken programma Graphics-Explorer kunnen met een muisklik punten worden geplaatst of verwijderd.
De Kleinste Kwadraten methode berekent de beste polynoom (graad 0..7).

de Kleinste kwadraten methode
Gegeven zijn de punten (x₁,y₁) , (x₂,y₂)...(x_n , y_n)

Gevraagd:
een polynoom, graad m, y = c₀ + c₁x + c₂x² + ... + c_mx^m door deze punten
zodat de afwijking minimaal is.

Als de polynoom precies door de punten gaat, dus als m+1 = n, dan geldt:

y₁ = c₀ + c₁x₁ + c₂x₁² + ... + c_mx₁^m
y₂ = c₀ + c₁x₂ + c₂x₂² + ... + c_mx₂^m
.............
.............
y_n = c₀ + c₁x_n + c₂x_n² + ... + c_mx_n^m

geschreven als matrix:

­ y1 ­ y2 ... ... yn

=

­ 1 x1 1 x1 2 ... x1 m ­ 1 x2 1 x2 2 ... x2 m .. .. .. .. .. .. .. .. .. .. 1 xn 1 xn 2 ... xn m

­ c0 ­ c1 .. .. cm



of korter: y = M . c

Als de polynoom niet precies door de punten gaat, dan zal er een verschilvector bestaan:

y - M . c

De norm van deze verschilvector is de som van de kwadratische afwijkingen.

Gezocht wordt dus c , waarvoor || y - M . c || minimaal is.

Dat is het geval, als deze verschilvector loodrecht staat op de kolomruimte van M.
Het inwendig product is dan gelijk aan nul.

(M c )^t ( y - M c) = 0

(c^t M^t) (y - M c) = 0

c^t ( M^t ( y - M c)) = 0

c^t ( M^t y - M^t M c ) = 0

zodat:
M^t y - M^t M c = 0

M^t M c = M^t y

(M^t M)^-1M^t M c = (M^t M)^-1M^t y

c = (M^t M)^-1 M^t y

Opmerkingen
1.
Met M^t wordt bedoeld de matrix M, gespiegeld om zijn hoofddiagonaal.

Als

M = 

­	2	0	3	­
	1	5	8

dan is

M t

=

­ 2 1 ­ 0 5 3 8

2.
rekenregel: ( A B)^t = B^tA^t

3.
Het inwendig product van twee vectoren a en b is te schrijven als a^t.b

4.
In het geval van lineaire regressie, dus m = 1 en c =[b,a] .......{immers de lijn heeft de vergelijking y = b + ax..}
geldt:

y

=

­ y1 ­ y2 ... yn





M

=

­ 1 x1 ­ 1 x2 ... ... 1 xn



M^t =

­	1	1	...	1	­
	x1	x2	...	xn

uitgaande van

M^tMc = M^ty

­ 1 1 ... 1 ­ x1 x2 ... xn      ·    ­ 1 x1 ­ 1 x2 ... ... 1 xn         ­ b ­ a

=

­ 1 1 ... 1 ­ x1 x2 ... xn      ·    ­ y1 ­ y2 ... yn





­	n	Σ xi	­
	Σ xi	Σ xi 2

 · 

­	b	­
	a

 = 

­	Σ yi	­
	Σ xi yi





­	b n + a  Σ xi	­
	b  Σ xi  + a  Σ xi 2

 = 

­	Σ yi	­
	Σ xi yi

Het volgende stelsel vergelijkingen moet dus worden opgelost:

b n + a 

Σ

xi

 = 

Σ

yi


b 

Σ

xi

 + a 

Σ

xi 2

 = 

Σ

xi yi

of

Σ

xi yi

 − a 

Σ

xi 2

 − b 

Σ

xi

 = 0


Σ

yi

 − a 

Σ

xi

 − b n = 0

of

Σ	(xi yi − a xi 2 − b xi)

 = 0


Σ	(yi − a xi − b)

 = 0

Voor de oplossing verwijs ik naar mijn artikel Lineaire Regressie
Zie formules ....1) en .............2)

Voorbeeld
Zoek de kleinste kwadraten rechte lijn door
de punten (0,1) (1,3) (2,4) en (3,4)

M

=

­ 1 0 ­ 1 1 1 2 1 3



M ^t = 

­	1	1	1	1	­
	0	1	2	3



M ^t M = 

­	4	6	­
	6	14



(M ^t M) ⁻¹ = 0 , 1 

­	7	−3	­
	−3	2



c = 0 , 

1  ­ 7 −3 ­ −3 2   ­ 1 1 1 1 ­ 0 1 2 3         ­ 1 ­ 3 4 4

=

­ 1.5 ­ 1

De gezochte lijn is dus y = 1,5 + x

---

OneStat