Mathématique - statistiques - moindres carrés

Ajustement de courbe et méthode des moindres carrés

Les propriétés d'un être humain comme son poid ou sa taille peuvent être exprimées en tant que variables en mathématique. Dans cet exemple comme dans bien d'autres, on peut établir un lien entre ces variables. En format mathématique, ce lien est exprimé par une équation.

Pour déterminer l'équation qui relie les variables, on doit d'abord découvrir dans l'échantillon, les couples de valeurs qui correspondent à ces variables. Si ont reprend l'exemple du poid et de la taille cité en introduction, les variables x et y pourraient représenter respectivement le poid et la taille d'un individu. Donc, pour un échantillon N, on obtiendrait les valeurs x1, x2, x3, ..., xN et y1, y2, y3, ..., yN.

L'ensemble des points répartis sur un système d'axes donne l'aspect d'une nuée de particules de poussière qui se disperse dans l'air. Ce système est d'ailleur appelé diagrame de dispersion. Dans la plupart des cas, on peut, à partir de ce diagrame, faire la représentation d'une courbe continu autour de laquelle les points semblent se regrouper. Cette courbe est nommée courbe d'ajustement.

La figure ci-dessous illustre un exemple de courbe d'ajustement:

Figure 1.0 Exemple de courbe d'ajustement

Il existe plusieurs types communs de courbes d'ajustement possédant chacune leur propres équations. La liste ci-dessous en fait l'énumération:

Droite:
Parabole:
Courbe cubique:
Courbe du 4e degré:
Courbe du ne degré:
Hyperbole:
Fonction puissance:
Fonction exponentielle:
Fonction puissance:

Les variables x et y des équations ci dessus sont souvent appelées respectivement:

variable explicative
variable expliquée

Il faut toutefois noter que c'est par convention que x hérite du titre de variable explicative. Il n'est pas condamné à garder ce type. Il peut tout aussi bien changer de rôle avec y.

Méthode graphique d'ajustement d'une courbe:

On peut sensiblement facilement, par notre propre jugement, déterminer une courbe d'ajustement d'un ensemble de données. C'est l'action de faire l'esquisse d'une courbe d'ajustement. C'est un peu comme losqu'un dessinateur fait du dessin d'observation et que son modèle est une bâtisse. Chacuns des traits représentent le bâtiment sont juste selon son jugement mais si d'autres auraient réalisé le dessin du même point de vue que le dessinateur, le sujet en question ne serait probablement pas représenté exactement de la même façon. De là tout le problème d'utiliser une telle méthode. Chaque observateur obtiendra des courbes et des équations différentes.

La droite:

La droite est certe le type de courbe d'approximation le plus simple. Tel que mentionné ci-dessus, son équation est:

Considéront deux points quelconque:et qui se retrouvent sur la droite. À partir de ceux-ci, il devient posible de découvrir les constantes et . L'équation de la droite prend alors la forme suivante:

On peut encore réduire l'équation si ont remplace
par m qui est la pente de la droite. Celle-ci représente la variation de Y sur la variation de x corespondante. Reprenant l'équation de la droite à ca forme initiale, la constante est égale à la pente et la seconde constante est égale à la valeur de Y lorsque X = 0.

La méthode des moindres carrés

Tel que mentionné plus haut dans ce texte, il est préférable d'éviter de porter un jugement personnel pour l'obtention d'une courbe d'ajustement. On doit donc trouver la meilleure courbe d'ajustement. C'est le role de la méthode des moindres carrés.

Examinons la figure suivante:

Figure 2.0 Exemple: moindres carrés

Pour une valeur quelconque de X, par exemple X1, il y aura une différence ou erreur entre la valeur de Y1 et la valeur qui lui correspond sur la courbe. Cette erreur est indiquée par E sur la figure 2.0. Les valeurs que peuvent prendres celles-ci peuvent être positives, négatives ou simplement, nulles.

On peut mesurer l'efficacité d'un ajustement en effectuant la somme des carrés des erreurs de l'ensemble des données. Si cette somme est petite, l'ajustement est cosidéré comme étant bon. À l'inverse, si elle est grande, l'ajustement est mauvais. On dit donc que parmi toutes les courbes possible qui s'approche d'un ensemble de données, celle révellant le meilleur ajustement est celle qui correspond à la propriété suivante:

minimum =

On appelle courbe des moindres carrées une courbe qui vérifie cette propriété.

La droite des moindres carrés ajustant les points , ,..., possède l'équation suivante:

Les constantes et peuvent être déterminées en résolvant les équations suivantes simultanément:

Ces équations se nomment 'équations normales de la droite des moindres carrés'. On peut calculer les constantes et à l'aide des formules suivantes:

et

Dans le cas d'une parabole ajustant les points , ,...,, l'équation est:

Les constantes , et peuvent être déterminées en résolvant les équations suivantes simultanément:

Plus de 2 variables:

Dans le cas des problèmes comportant plus de deux variables, le processus de résolution est le même que pour deux variables. Si par exemple, il existe une relation entre les variables x, y et z, celle-ci peut être exprimée à l'aide de l'équation suivante:

Cette équation représente un plan dans un système de coordonnées à trois dimensions. Les particules (points) de l'échantillon , ... , se rapprochent de ce plan. On l'appelle plan d'estimation. Dans un cas comportant plus de deux variables, on parle de l'approximation de données par un plan des moindres carrés. Pour faire l'estimation de Z à partir de valeurs de X et Y, c'est à dire le plan de regression de Z en X et Y, les équations normales correspondant au plan sont les suivantes:

Il est possible d'utiliser d'autres équation plus complexes. Celles-ci correspondent à des surfaces appellées surfaces de régression. Lorsque le nombre de variables est plus élevé que trois, l'intuition géométrique n'est plus puisque on se trouve alors dans des dimension 4, 5 etc.. Dans ces cas, on parle d'hyperplans au lieu de plans.

Exemple d'ajustement d'une droite des moindres carrés:

L'exemple suivant, ajuste une droite des moindres carrés avec le tableau de données suivant:

Données exemple
X	Y		XY
1	1	1	1
2	3	4	6
4	5	16	20
6	6	36	36
9	8	81	72
11	9	121	99
33	32	259	234

Puisqu'il y a 6 couples de valeurs pour x et y, N est égal à 6. La dernière ligne du tableau représente les sommes. En se fiant à celle-ci, les équations normales s'écrivent ainsi:

En utilisant les formules suivante on peut déterminer les valeur de et :

La droite des moindres carrés cherchées a donc pour équation: Y=1.217 + 0.748X.

Auteur : Sylvain Bilodeau

Date de mise en ligne : 2001-09-06

Réagir à cet article