À leurs débuts, les langages de programmation étaient très influencés par les restrictions matérielles. De ce fait, le premier vrai langage de programmation est difficile à identifier. Par exemple, les cartes perforées pouvaient avoir 80 colonnes, certaines d'entre elles étant utilisées comme numéro de tri sur chaque carte.
Au départ, les langages étaient de simples codes . Pendant neuf mois entre 1842 et 1843, Ada Lovelace a traduit le mémoire du mathématicien italien Luigi Menabrea sur la machine analytique, la dernière machine proposée par Charles Babbage.
John von Neumann, inventeur du l' Architecture de von Neumann (elle-même inspirée des travaux d' Alan Turing ), sur laquelle se basent nombre de langages de programmation. Dennis Ritchie, inventeur du langage C ; et Brian Kernighan, coauteur du premier livre sur le langage C, coauteur des langages AWK et AMPL.
Par exemple, les langages systèmes de Argus and Emerald adaptés à la programmation orientée-objet pour les systèmes distribués. Une nouvelle tendance dans la conception des langages, comme Modula, Ada, et ML, mettent l'accent sur la programmation pour une large gamme d'applications grâce à l'utilisation de modules.