LE NEURO INTERACTOR

Michel BRET, mars 2007
Professeur émérite, A.T.I., Université PARIS8

Mots clés:

improvisation, interaction, reconnaissance, réseaux neuronaux.
1 Résumé
L´installation le "Neuro-Interactor" est l´une des applications possibles du système "modèle".
Le spectateur glisse sa main dans une boite contenant une caméra qui en transmet l´image au programme. L´analyse de cette image (aussi bien en géométrie qu´en dynamique) par des réseaux neuronaux [1] [2] fournit une interprétation en termes de positions et de mouvements d´une marionnette virtuelle. Plusieurs modes de fonctionnement sont disponibles:
1) Un premier mode permet de saisir des positions de la main associées à certaines attitudes du corps virtuel. Plusieurs de ces couples fournissent un ensemble d´apprentissages utilisés par l´algorithme de la rétropropagation de l´erreur (apprentissage supervisé) pour entraîner des réseaux à reconnaître ces positions, et d´autres, non apprises, en donnant des interprétations gestuelles cohérentes par le personnage virtuel.
2) Dans un deuxième mode, interactif celui-ci, l´analyse de la disposition des doigts par de tels réseaux neuronaux, ainsi préalablement entraînés, permet une interprétation en terme de position de l´acteur de synthèse.
3) L´analyse de la dynamique du mouvement de la main permet de générer une dynamique du corps artificiel.
4) Enfin la méthode de la "cohérence de flux" (création, émergence, autonomie 5-2, mars 2007) permet une adaptation automatique et non supervisée du personnage virtuel aux mouvements de la main, renouvelant ainsi les méthodes plus traditionnelles d´animation de marionnettes.

2 Introduction

Les marionnettistes, qui contrôlent manuellement des pantins, ont l´expérience d´une gestuelle provoquant certaines de leurs réactions (que ces pantins soient réels ou virtuels).
De même que le cerveau, qui envoie des ordres moteurs au corps, ne commande pas individuellement chacun des muscles impliqués dans les mouvements mais agit plutôt sur des réseaux cablés (et recablables), les réseaux neuronaux, qui envoie des ordres moteurs au corps virtuel, ne commanderont pas individuellement tous les éléments du système musculaire artificiel, mais déclencheront plutôt des activations reliées par des lois (telles que la loi de la puissance 1/3) (interacting with an intelligent dancing figure 3-4) [3].
De même que les comportements d´un être vivant ne sont pas seulement hérités mais sont aussi les résultats d´apprentissages menés par cet être au cours de sa vie, les comportements de la marionnette virtuelle ne seront pas seulement programmés mais seront aussi les résultats d´apprentissages menés par cette marionnette au cours de son interaction avec les marionnettistes et/ou les spectateurs.
Si, selon Alain Berthoz [4], le mouvement est à la base des comportements les plus évolués des êtres vivants, il le sera aussi en ce qui concerne les êtres virtuels mis en scène dans cette installation.

3 Apprentissages supervisés

Des positions de la main sont associées à des attitudes de la danseuse virtuelle:

L´algorithme de la rétropropagation de l´erreur configure alors la matrice des poids synaptiques de façon à minimiser les différences entre les sorties calculées et les sorties montrées.

Toute position non apprise de la main donne lieu à des sorties cohérentes avec l´ensemble d´apprentissage.
Le marionnettiste peut alors jouer librement:

4 Apprentissages non supervisés

La méthode de la "cohérence de flux" que j´ai développé ailleurs [5] , permet de calculer dynamiquement un flux de sortie dont la cohérence avec le flux d´entrée est maximum: le marionnettiste n´est plus ainsi astreint à devoir faire un apprentissage:

5 Conclusion

Je pense avoir montré en quoi l´usage de réseaux neuronaux entraînés de façon non supervisée permet de renouveler l´art de la marionnette en dotant celle-ci d´une autonomie ne pouvant qu´enrichir le dialogue qu´elle entretient avec ceux qui la contrôlent et avec le public qui l´expérimente.

Bibliographie

[1] ABDI H: Les réseaux de neurones, Presses Universitaires de Grenoble 1994.
[2] BHARATH R., DROSEN J., Neural Network Computing, Windcrest/McGraw-Hill 1994.
[3] BRET M., TRAMUS M.H., BERTHOZ A., "Interacting with an intelligent dancing figure", in Leonardo Vol 38, Num 1, pp 47-54, 2005.
[4] BERTHOZ A., Le sens du mouvement, Éditions Odile Jacob Sciences,1997.
[5] BRET M., Émergence et résonance neuronale, novembre 2006.