Les algorithmes d'optimisation sont des processus itératifs que génèrent une séquence de valeurs xn+1 à partir d'un point de départ x0.
Un algorithme est convergent quand pour n'importe quel point de départ, la séquence arrive à la solution (maximum ou minimum).