LES RÉSEAUX NEURONAUX: HISTORIQUE


L´Intelligence Artificielle
Les systèmes connexionnistes

















































L´Intelligence Artificielle

         La psychologie cognitive étudie les structures de mémorisation et les processus de raisonnement en mesurant des comportements intelligents. Par exemple on peut mesurer la fréquence de reconnaissance d´une lettre dans "MA?SON" et "TR?ZXSF" et en déduire que la reconnaissance d´un mot déclenche un processus descendant qui retrouve les lettres manquantes.
         La neurologie étudie les processus biophysiques à l´oeuvre dans le système nerveux.
         L´I.A. (Intelligence Artificielle) a pour but le développement de machines se comportant intelligemment: Résolution automatique de problèmes, interprétation du langage naturel, aide à la décision, démonstration automatique de theorèmes. Le test de Turing (1950) est le critère de l´intelligence en I.A.
         Un résolveur classique de problèmes est constitué d´une entrée recevant les spécifications d´un problème, d´une sortie délivrant la solution, d´un moteur d´inférence et d´une base de connaissance: Raisonnemnent et mémoire sont dissociés. Des systèmes à règles de production et des réseaux sémantiques sont également utilisés.

Les systèmes connexionnistes

         Les premières recherches concernant les réseaux neuronaux remontent à 1943 lorsque Mc Culloch et Pitts expliquent les propriétés du système nerveux à partir du fonctionnement du neurone. À cette époque ce sont des neurones binaires ne répondant que oui ou non (0 ou 1) dits neurones MP. un réseau est constitué de tels neurones connectés par des liaisons affectées d´un poids (positif: excitation, negatif: inhibition). Chaque neurone calcule son activation qui est la somme pondérée des activations de tous les neurones qui lui sont connectés. Si cette activation dépasse un certain seuil alors le neurone passe à l´état actif (son activation vaut 1), sinon le neurone reste dans un état passif (son activation est nulle). Ce fonctionnement est exactement celui du perceptron Ces deux auteurs montrent alors que de tels neurones binaires peuvent calculer n´importe quelle fonction logique les rendant ainsi équivalents à une machine universelle de Turing.
         En 1949 Donald Hebb, un psychologue canadien, explique les effets de l´apprentissage en fonction de l´expérience en postulant que les cellules apprennent à modifier l´intensité de leurs connexions en fonction de leurs activations simultanées (règle de Hebb).
         En 1951 Minsky est le premier à modéliser un réseau de neurones au M.I.T. avec son ordinateur neuronal. Il utilisait des connexions probabilistes et son système apprenait en corrigeant les poids de ses connexions.
         En 1957 Rosenblatt construit le fameux perceptron qui est le premier système capable d´apprendre à catégoriser. À la même époque Widrow énonce la loi d´apprentissage (règle de Widrow-Hoff) proche de celle du perceptron qu´il applique à l´atténuation du bruit dans les lignes téléphoniques. Nilson publie en 1965 son célèbre ouvrage "Learning machines" qui pose les fondements mathématiques de l´apprentissage automatique pour la reconnaissance des formes.
         Mais, comparées aux performances de l´I.A. (dont l´approche symbolique prouvait des théorèmes, reconnaissait des formes) ou à celles de l´informatique traditionnelle (qui simulait des vols spatiaux et commençait de s´appliquer à la C.A.O.) ces méthodes étaient trop lentes et relativement difficiles à mettre en oeuvre;. Pour finir, en 1969, Minsky et Papert, dans leur ouvrage "Perceptrons", montrent que les réseaux neuronaux ne pouvaient pas apprendre le XOR logique et, au-delà, ne pouvaient traiter que des problèmes "linéairement séparables". Il s´ensuivit une longue période de désintéressement pour le connexionnisme.
         Jusqu´en 1970 des chercheurs développèrent les réseaux neuronaux en marge des courants à la mode (voir le livre de Anderson et Rosenfeld).
         À partir des années 1970 les ordinateurs deviennent suffisamment puissants pour que la lenteur des réseaux neuronaux ne soit plus un problème. C´est aussi à cette époque que les limites de l´I.A. et de l´approche symbolique apparaissent et que des progrès décisifs sont faits dans la connaissance du cerveau (voir le livre de Changeux).
         C´est probablement à Hopfield et à Rumelhart que l´on doit le regain d´intérêt pour les méthodes connexionnistes grâce en particulier à la méthode de rétropropagation de l´erreur qui permet à un réseau de neurones de résoudre des problèmes non nécessairement linéairement séparables.