LES RÉSEAUX NEURONAUX: HISTORIQUE
L´Intelligence Artificielle
La psychologie cognitive étudie les structures de mémorisation et les
processus de raisonnement en mesurant des comportements intelligents. Par
exemple on peut mesurer la fréquence de reconnaissance d´une lettre dans
"MA?SON" et "TR?ZXSF" et en déduire que la reconnaissance d´un mot
déclenche un processus descendant qui retrouve les lettres manquantes.
La neurologie étudie les processus biophysiques à l´oeuvre dans le
système nerveux.
L´I.A. (Intelligence Artificielle) a pour but le développement de
machines se comportant intelligemment: Résolution automatique de problèmes,
interprétation du langage naturel, aide à la décision, démonstration
automatique de theorèmes. Le
test de Turing
(1950) est le critère de l´intelligence en I.A.
Un résolveur classique de problèmes est constitué d´une entrée recevant
les spécifications d´un problème, d´une sortie délivrant la solution, d´un
moteur d´inférence et d´une base de connaissance: Raisonnemnent et mémoire
sont dissociés. Des systèmes à
règles de production
et des réseaux sémantiques sont également utilisés.
Les systèmes connexionnistes
Les premières recherches concernant les réseaux neuronaux remontent à 1943
lorsque Mc Culloch et Pitts expliquent les propriétés du système nerveux
à partir du fonctionnement du neurone. À cette époque ce sont des
neurones binaires ne répondant que oui ou non (0 ou 1) dits
neurones MP.
un réseau est constitué de tels neurones connectés par des liaisons affectées d´un poids
(positif: excitation, negatif: inhibition). Chaque neurone calcule son activation
qui est la somme pondérée des activations de tous les neurones qui lui sont
connectés. Si cette activation dépasse un certain seuil alors le neurone passe
à l´état actif (son activation vaut 1), sinon le neurone reste dans un état passif
(son activation est nulle). Ce fonctionnement est exactement celui du
perceptron
Ces deux auteurs montrent alors que de tels neurones binaires peuvent calculer
n´importe quelle fonction logique
les rendant ainsi équivalents
à une machine universelle de Turing.
En 1949 Donald Hebb, un psychologue canadien, explique les effets
de l´apprentissage en fonction de l´expérience en postulant que les
cellules apprennent à modifier l´intensité de leurs connexions en fonction
de leurs activations simultanées
(règle de Hebb).
En 1951 Minsky est le premier à modéliser un réseau de neurones
au M.I.T. avec son ordinateur neuronal. Il utilisait des connexions
probabilistes et son système apprenait en corrigeant les poids de ses
connexions.
En 1957 Rosenblatt construit le fameux
perceptron
qui est le premier
système capable d´apprendre à catégoriser.
À la même époque Widrow énonce
la loi d´apprentissage
(règle de Widrow-Hoff)
proche de celle
du perceptron qu´il applique à l´atténuation du bruit dans les lignes
téléphoniques.
Nilson publie en 1965 son célèbre ouvrage
"Learning machines" qui pose les fondements mathématiques de
l´apprentissage automatique pour la reconnaissance des formes.
Mais, comparées aux performances de l´I.A. (dont l´approche
symbolique prouvait des théorèmes, reconnaissait des formes) ou à
celles de l´informatique traditionnelle (qui simulait des vols
spatiaux et commençait de s´appliquer à la C.A.O.) ces méthodes
étaient trop lentes et relativement difficiles à mettre en oeuvre;.
Pour finir, en 1969, Minsky et Papert, dans leur ouvrage "Perceptrons",
montrent que les réseaux neuronaux ne pouvaient pas apprendre le
XOR logique et, au-delà, ne pouvaient traiter que des problèmes
"linéairement séparables". Il s´ensuivit une longue période
de désintéressement pour le connexionnisme.
Jusqu´en 1970 des chercheurs développèrent les réseaux
neuronaux en marge des courants à la mode (voir le livre
de Anderson et Rosenfeld).
À partir des années 1970 les ordinateurs deviennent
suffisamment puissants pour que la lenteur des réseaux neuronaux
ne soit plus un problème. C´est aussi à cette époque que
les limites de l´I.A. et de l´approche symbolique apparaissent
et que des progrès décisifs sont faits dans la connaissance
du cerveau (voir le livre de Changeux).
C´est probablement à Hopfield et à Rumelhart que l´on doit le regain
d´intérêt pour les méthodes connexionnistes grâce en
particulier à la méthode de
rétropropagation de l´erreur
qui permet à un réseau de neurones de résoudre des problèmes non
nécessairement linéairement séparables.