Numerieke Wiskunde I:
Benadering van een reeks punten door een rechte lijn

Stel: Je hebt metingen gedaan aan een of ander iets. Bij het uitwerken van de resultaten lijkt het of de meetwaarden een lineair verband hebben, dus op een rechte lijn liggen. Dan rijst meteen de vraag: "Wat is de vergelijking van die lijn en hoe nauwkeurig is de benadering?"

De beste benadering vind je door de (verticale) afstand van elk meetpunt tot de lijn zo klein mogelijk te maken.
Bij het berekenen van de afstand loop je er tegen aan dat afstand 'boven' de lijn positief is, en afstand 'onder' de lijn negatief. Dat is eenvoudig te verhelpen door met het kwadraat van de afstand te rekenen. De hier beschreven aanpak staat dan ook bekend als

De methode van de kleinste kwadraten

• Er worden twee items (zeer beknopt) besproken:
  1. De methode van de kleinste kwadraten voor rechte lijnen.
  2. Het berekenen van de correlatie coëfficiënt.
   
• De methode van de kleinste kwadraten voor rechte lijnen
• Het komt er in feite op neer dat de som van de kwadraten van de afwijking van de meetpunten van de rechte lijn (de 'fout') zo klein mogelijk is.
• Stel: we zoeken de lijn y = Ax + B, die een verzameling van n punten (x_i, y_i) het beste beschrijft.
• Als we de verticale afwijking van de lijn t.o.v. elk punt f_i noemen, moet ∑[(fi - yi)²] dus minimaal zijn.
• Hieruit kan het volgende stelsel van twee variabelen worden afgeleid:
  

  A · ∑(xi)	+ B · n	=	∑(yi)
  A · ∑(xi²)	+ B · ∑(xi)	=	∑(xi·yi)

  Hieruit kunnen A en B worden opgelost.
• Voor het met een computerprogramma oplossen van dit soort eenvoudige stelsels van vergelijkingen is de Methode van Kramer heel geschikt. Dit gaat voor dit stelsel van twee variabelen als volgt:
  
  • Definieer drie 2 × 2 matrices [m], [a] en [b].

  • [m] =		∑(xi)	n
    		∑(xi²)	∑(xi)

  • [a] =		∑(yi)	n
    		∑(xi·yi)	∑(xi)

  • [b] =		∑(xi)	∑(yi)
    		∑(xi²)	∑(xi·yi)

  • |m|, |a| en |b| zijn de determinanten van respectievelijk [m], [a] en [b].
     
  • De oplossing is A = |a|/|m|, en B = |b|/|m|.
   
• De sommeringen maak je het beste in een tabel, zoals hieronder. De opgetelde getallen staan onder de onderste streep.
  

  i	xi	yi	xi²	xi·yi
  1	1	1	1	1
  2	2	3	4	6
  3	4	5	16	20
  4	5	7	25	35
  n = 4	12	16	46	62

• Uitwerking van deze gegevens geeft als resultaat: Y = 1.4X - 0.2.
   
• Het berekenen van de correlatie coëfficiënt
• De correlatie coëfficiënt is een getal dat aangeeft hoe "goed" de gevonden rechte lijn de meetwaarden beschrijft.
• Dit getal wordt gewoonlijk aangeduid met de Griekse letter ρ. Er geldt: -1 ≤ ρ ≤ 1.
• ρ = -1 betekent: De x- en y-waarden liggen perfect op een rechte lijn. Dit is een dalende lijn.
• ρ = 1 betekent: De x- en y-waarden liggen perfect op een rechte lijn. Dit is een stijgende lijn.
• ρ = 0 betekent: Er is geen lineair verband tussen de x- en y-waarden. De punten vormen een "wolk" of liggen op een cirkel.
   
• De formule voor het berekenen van ρ luidt:
  

  ρ =	1	∑(	xi - μx	)·(	yi - μy	)
  	n-1		σx		σy

  Hierin is:
  • n  Het aantal paren (xi,yi) in de berekening.
  • μx  Het rekenkundig gemiddelde van xi:   μx = (∑ xi) / n.
  • μy  Het rekenkundig gemiddelde van yi:   μy = (∑ yi) / n.
  • σx  De standaarddeviatie in xi:   σx = √[(1/(n-1)·∑(xi - μx)²].
  • σy  De standaarddeviatie in yi:   σy = √[(1/(n-1)·∑(yi - μy)²].
   
• De beste manier om dit uit te rekenen is weer met behulp van een tabel. De opgetelde waarden, waar nodig en nuttig, staan onder de onderste streep.
  De tabel is gesplitst vanwege plaatsruimte
  Met μx = 3 en μy = 4:

  i	xi	yi	(xi-μx)	(yi-μy)
  1	1	1	-2	-3
  2	2	3	-1	-1
  3	4	5	1	1
  4	5	7	2	3
  n = 4	12	16

  Met σx = 1,826 en σy = 2,582:

  i	(xi-μx)²	(yi-μy)²	(xi-μx)/σx	(yi-μy)/σy
  1	4	9	-1.095	-1.162
  2	1	1	-0.548	-0.387
  3	1	1	0.548	0.387
  4	4	9	1.095	1.162
  	10	20

  i	(xi-μx)/σx · (yi-μy)/σy
  1	1.273
  2	0.212
  3	0.212
  4	1.273
  	2.970

  Hiermee kan worden bepaald dat ρ = 0.99.
• Houd er rekening mee dat de waarden in de tabel zijn afgerond. Als je dit narekent met bijvoorbeeld een spreadsheet- programma, zul je afwijkingen vinden in de tweede decimaal van ρ. Als je de getallen van het voorbeeld invoert in de applicatie zul je dat ook zien.
   
• Natuurlijk is er ook een applicatie om zelf met deze techniek aan de slag te gaan. De tabel-matige aanpak wordt daar (niet zichtbaar) in gebruikt. Klik op de knop hiernaast.
• Een slimme manier om data in de applicatie in te voeren is door de getallen paren met een gewone editor in een tekstbestand te zetten en te bewaren. De data zet je vervolgens met knippen en plakken in de applicatie. Op dezelfde manier kun je data uit de applicatie nemen en apart opslaan.
   
• De code van de applicatie kun je downloaden om zelf aan door te ontwikkelen.
• Als je verder wilt werken aan de applicatie, download je de .zip-file en pak je hem uit. Je hebt dan meteen een werkend voorbeeld.

Bronnen:
Boek:
Kammer, ir. R; Numerieke methoden voor Technici, § 6.1. 2^e druk 1977. Uitg. Agon-Elsevier, ISBN 90 10 01840 7.
Internet:
nl.wikipedia.org/wiki/Kleinste-kwadratenmethode,
nl.wikihow.com/De-correlatiecoëfficiënt-bepalen.

Downloaden:
 
Druk op de knop:  File: voorb648.zip, 4085 bytes.

Opmerking:
 
De kleinste kwadraten methode beperkt zich niet tot rechte lijnen. Je kunt er ook benaderingen van polynomen, machtsfuncties en exponentiële functies mee maken. Een item over benadering door een polynoom vind je hier. Over benadering door een exponentiële kromme en over benadering door een machtsfunctie zijn elders op deze sites items gepubliceerd.