Un algorithme distribué A est un algorithme qui s'exécute sur plus d'une machine ou processeur.
En d'autres termes, un algorithme distribué A sur un système distribué S n'est autre que la caractérisation des transitions locales à réaliser séquentiellement par chaque processus de S à la réception d'un message [Zem09].
On distingue trois principales catégories d'algorithmes de Machine Learning : supervisés, non-supervisés, et semi-supervisés.
Chacune de ces catégories repose sur une méthode d'apprentissage différente.
La méthode la plus utilisée actuellement est sans doute la méthode de tri rapide ou Quicksort, qui a été inventée par Sir Charles Antony Richard Hoare en 1960 – d'aucuns disent que c'est l'algorithme le plus utilisé au monde