La méthode du gradient à pas optimal est une méthode de recherche d’extremum basé sur unedescente de gradient. Cependant, en changeant le point de vue sur le système, on peut utiliser cetteméthode pour trouver la solution. Théorème([2, p.409 ex.4]). Soit A2S++n (R). Alors AX0 =B si et seulement si X0minimise l’application : n 2hAX,Xi hB,Xi.
SiJest-convexe dérivable surV, sirJest uniformément lipschitzien deconstante de LipschitzM, l’algorithme de gradient à pas optimal est bien défini et converge verslasolution optimale. Remarque 4.3.
On va donc étudier la convergence de l’algorithme du gradient à pas optimal (algorithme 1) dans lecadre de fonction de ces fonctions définies à partir d’un système linéaire.
La méthode du gradient est une méthode d’analyse numérique permettant de trouver un extremum(qui peut être local) d’une fonction à plusieurs variables sans contraintes. Même sans contraintes, l’op-timisation multivariée (comme ici) est complexe numériquement au sens ou sa complexité peut trèsfacilement exploser.