Daniet T Ces-Acteurs-Virtuels.htm

Ces acteurs virtuels qui peuplent nos rêves artificiels

Michel Bret professeur honoraire du laboratoire INREV et de la formation ATI

de l’Université Paris 8


Ces acteurs virtuels qui peuplent nos rêves artificiels

Michel Bret professeur honoraire du laboratoire INREV et de la formation ATI

de l’Université Paris 8

Résumé
Introduction
1 Le corps-cerveau
    1.1 Modélisation
        1.1.1 Le squelette
        1.1.2 Le système musculaire
        1.1.3 La peau
        1.1.4 La système nerveux
            1.1.4.1 Réseaux neuronaux
                Apprentissage supervisé
                Apprentissage non supervisé
           Génération connexionniste de mouvements
            1.1.4.2 Modélisation du système nerveux
    1.2 Le problème de l´émergence
2 Le mouvement
    2.1 Les techniques de générations de mouvements
        2.1.1 La dynamique
        2.1.2 La cinématique inverse
        2.1.3 Le comportemental
        2.1.4 L'approche animat
        2.1.5 Le connexionnisme
        2.1.6 L'évolutionnisme
    2.2 Intégration d’éléments de la physiologie de la perception et de l’action
        2.2.1 La loi de la puissance 2/3
        2.2.2 L'opposition de phase
        2.2.3 Le plan de phase
        2.2.4 Systèmes de référence
    2.3 L'interactivité
        2.3.1 Les systèmes réactifs
        2.3.2 Les systèmes rétroactifs
     2.3.3 Les systèmes homéostatiques
        2.3.4 Les systèmes adaptatifs
        2.3.5 Les systèmes vivants
        2.3.6 L'interactivité intelligente
3 Émotions artificielles
    3.1 Émotions
    3.2 Sentiments
    3.3 Conscience.
    3.4 Une conscience artificielle ?.
Conclusion
Webgraphie
    Films d'animation 3D
    Installations
    Démos
Bibliographie
Figures
Notes



















Résumé

       On tentera ici de replacer la notion d'acteur virtuel dans le cadre de l'intelligence artificielle et de la seconde cybernétique à partir de recherches déjà anciennes de l'auteur (années 80-90) et d'autres plus récentes (années 2000) et qui se sont incarnées dans des films d’animation de synthèse et des installations interactives.
       En s'appuyant sur ses réalisations informatiques et artistiques, l'auteur introduira la notion de rêve artificiel, non pas seulement représenté, mais aussi vécu par ces acteurs virtuels.
       Sera aussi évoqué le rôle des émotions, des sentiments et de la conscience sur les comportements de tels acteurs dans la perspective de nouveaux projets artistiques.

Introduction

       Daniel Thalmann a défini une classification des personnages virtuels [Thalmann 1996] distinguant les avatars, les acteurs guidés, les acteurs autonomes et les acteurs perceptifs interactifs. Il reconnaît par ailleurs que nous sommes bien loin de réaliser des acteurs véritablement émotionnels et conscients. Cédric Plessiet, dans la synthèse de son Habilitation à Diriger des Recherches [Plessiet 2019], propose une autre classification positionnant l'entité virtuelle sur un mode sensible et collaboratif avec le créateur et avec le spectateur : la Marionnette Virtuelle, le Golem Virtuel, l’Acteur Virtuel, le Masque Virtuel. Elle repose sur le couplage de deux caractéristiques essentielles, l’origine du mouvement du personnage virtuel (externe ou interne) et l’origine de la décision (externe ou interne). Par ailleurs, de plus en plus de créateurs prônent, à travers les travaux de Varela [Varela 1999] et ceux de Damasio [Damasio 1999], une approche différente concourant à montrer qu´une véritable révolution, non seulement scientifique, mais aussi artistique, est en cours [Couchot 2012].
       Dans le tableau de Pablo Picasso Le peintre et son modèle (Figure 1) ces derniers ne sont pas dans un rapport d'imitation, mais dans l'action d'une co-création. Ce qui nous est donné à voir est un système constitué de trois éléments : le modèle figuré qui occupe toute la largeur, le tableau vu par la la tranche et l'artiste figuré dont le pinceau semble peindre simultanément le modèle lui-même et sa représentation.
       Je voudrais utiliser cette métaphore pour exprimer ce qu'est, pour moi, l'art de créer un acteur virtuel : il ne s'agit pas tant de faire croire en sa présence que d'en montrer l'acte même de son enfantement. De même que tous les peintres ont parlé de leurs couleurs, de leurs pinceaux, de leurs techniques de mise en perspective, je parlerai des outils actuels de création artistiques et du plus générique d'entre eux, la programmation. On ne fabrique pas un acteur de synthèse, mais on explique à l'ordinateur comment le faire, cette explication (algorithmes), ainsi que celle (ou celui) qui l'a codée, seront considérés comme des cocréateurs.
       Alors que la copie est inerte et ne peut être animée (au sens de prendre vie) que par des artifices de marionnettiste, notre intention est de rendre vivant l'acteur virtuel (au sens d'une autonomie et d'une auto organisation) par la « seconde interactivité » [Tramus, Bret, Couchot 2003].

1 Le corps-cerveau

       Le dualisme cartésien du corps et de l´esprit est aujourd’hui dépassé. Edelman, dans l’ouvrage Comment la matière devient conscience [Edelman 2000] a montré que ce qu'on a coutume d´appeler esprit est une émergence du fonctionnement en réseau du cerveau humain. Avec son hypothèse du noyau dynamique, il montre l´importance de la réentrance dans l´explication du comportement unifié du cerveau.
       Comme l´est aussi celui de la raison et de l´émotion: Damasio, dans « l'erreur de Descartes » [Damasio 1995] a montré, avec son hypothèse des marqueurs somatiques, que les mécanismes du raisonnement sont affectés de façon consciente, ou non consciente, par des signaux provenant des réseaux neuronaux régissant l´émotion. En d´autres termes, loin de nuire au raisonnement, l´émotion l´aide et lui est même indispensable. L´émotion, comme régulateur homéostatique, est une incarnation de la logique de survie. Ce domaine des émotions montre bien la liaison intrinsèque du corps et du cerveau. S´il en est bien ainsi, on peut se demander pourquoi l´informatique, censée incarner la logique et le raisonnement, a fait l´impasse sur l´émotionnel. Nous pensons que les ordinateurs ne seront vraiment rationnels que lorsqu´ils auront intégré cette dernière qualité.
       Un acteur virtuel est très différent d´un avatar : le premier peut faire preuve de caractère, montrer une conduite intelligente ou sensible, alors que le second renvoie, dans la mythologie indienne, à la descente (ou incarnation) d´un dieu ; il est, dans nos sociétés, la représentation d´un utilisateur sur Internet ou dans les jeux vidéo. Le premier est autonome alors que le second est contrôlé.
       Le couple contrôle-autonomie sera le dernier dualisme à dépasser : vouloir tout contrôler, c´est refuser tout ce qui ne vient pas de nous, donc fermer la porte à la nouveauté, à l´imprévu et rendre impossible toute émergence. Il n´est pas utopique aujourd’hui que de vouloir construire des systèmes artificiels susceptibles d´éprouver des émotions [Bret 2006a] et même de posséder une conscience [Cardon 2000].

1.1 Modélisation

       Une peinture ou une sculpture ne nous émeuvent pas par la croyance en une présence qu’elle susciterait (comme au musée Grévin), mais par la concordance entre les gestes qui nous sont montrés et ceux que nous ferions nous-mêmes (neurones miroirs). L'apparence de la surface peinte ou celle du volume ne suffisent pas à expliquer cette harmonie, la genèse de l’oeuvre, que nous percevons intuitivement, est le secret de cette compréhension. Pour modéliser « un corps vivant virtuel », j’ai pris le parti de le construire anatomiquement et biomécaniquement en définissant tous ses éléments invisibles desquels émerge l'apparence. Pour simplifier, j’ai distingué quatre niveaux [Bret 2000b] [Bret 1998] : le squelette, le système musculaire, la peau, le système nerveux.

1.1.1 Le squelette

       Le squelette (Figure 2) est défini comme une structure articulée d’os, supposés rigides, dont les positions relatives sont codées par des quaternions respectant certaines contraintes biomécaniques. Dans une première approche simplificatrice, et afin de répondre aux exigences du temps réel, il est le seul composant du corps soumis aux tests de collision (appuis au sol, butées sur des obstacles, autocollisions) ; le squelette, muni de masses et placé dans un champ de pesanteur, répond aux lois de la dynamique ; les autres composants (muscles, organes, cheveux, habits) sont, quant à eux, modélisés par des surfaces souples possédant, elles aussi, des propriétés dynamiques.

1.1.2 Le système musculaire

       Les muscles déformables (Figure 3) sont définis par un système dynamique constitué d´éléments élastiques (ressorts) et soumis à des contraintes de position (attache aux os) et de formes (élongation et compression limitées, volume constant) [Richer 1988]. Des graisses et des organes attachés dynamiquement aux os et aux muscles viennent compléter cette masse corporelle.

1.1.3 La peau

       La peau est conçue comme une surface dynamique souple et déformable enveloppant les éléments précédents, seule visible, son aspect dépend entièrement d'eux. Les sculpteurs, comme Rodin, prenaient bien en compte l´anatomie et des lois de la biomécanique dans le rendu de l´aspect extérieur du corps. La technique du laser virtuel [Bret 1998] permet de construire une telle enveloppe en scannant les éléments précédemment décrits selon des axes dépendant de leur morphologie (Figure 4).
       Bien entendu, ce procédé doit être invoqué à chaque image de l'animation puisque ces éléments changent de forme et de position selon le mouvement en cours. Nous pointons là une exigence qui contredit la fameuse trilogie modélisation-animation-rendu de la plupart des logiciels 3D. En fait tout se tient et le corps (sa forme apparente) ne se conçoit pas en dehors de sa mobilité et c´est pourquoi sa « modélisation » doit contenir une dynamique (implémentée sous forme de méthodes dans un langage orienté objet).

1.1.4 Le système nerveux

1.1.4.1 Réseaux neuronaux

       Les difficultés considérables rencontrées dans la modélisation et l´animation du corps humain par les méthodes traditionnelles m’ont conduit à adopter une stratégie radicalement différente : abandonnant une démarche purement algorithmique, j’ai confié la résolution de ces problèmes à des réseaux neuronaux [Abdi 1994]1 capables d'associer des conduites appropriées à certaines situations par deux types d'apprentissage : l’apprentissage supervisé et l’apprentissage non supervisé.

Apprentissage supervisé

       Prenons l'exemple du perceptron multicouche entraîné par l'algorithme de la rétropropagation de l'erreur [Linnainmaa 1970]. Un « professeur » donne un ensemble de couples d'apprentissages (situation, comportement), les situations sont connectées aux entrées du réseau et on attend les comportements sur les sorties. La matrice des poids synaptiques est d'abord initialisée aléatoirement si bien que les réponses du réseau sont aussi aléatoires. La différence entre une réponse obtenue et la réponse correcte est une erreur utilisée par l'algorithme pour corriger les poids synaptiques. Si les exemples donnés ne sont pas trop contradictoires, on démontre que ce processus converge vers une reconnaissance acceptable. Et même mieux, la propriété de généralisation de ces réseaux garantit des réponses cohérentes à des entrées ne figurant pas dans l'ensemble d'apprentissage sans en être trop éloignées.
       Nous avons utilisé cette propriété dans l'installation La Funambule virtuelle [Bret, Tramus, Berthoz 2005] [La Funambule virtuelle 2000] pour que l'acrobate retrouve son équilibre dans des situations non apprises. Dans d´autres installations, comme Danse avec moi [Bret Tramus 2001] [Danse avec moi, 2000] des réseaux spécialisés prennent en entrée un signal audio (musique) et donnent en sortie des forces appliquées aux muscles de la danseuse virtuelle. Il suffit, pour cela, d´entraîner ces réseaux avec des couples d´apprentissage du type « en entrée les paramètres dynamiques du signal audio, en sortie des pas de danse » et de les combiner avec des réseaux permettant de garder l’équilibre, on obtient alors des danseurs qui se meuvent sur la musique. Il est alors intéressant de les faire interagir avec d´autres danseurs, virtuels, ou humains pour créer des chorégraphies mêlant réel et virtuel.

Apprentissage non supervisé

       Prenons l’exemple des réseaux de Kohonen qui offrent une méthode d´apprentissage consistant à détecter des régularités dans des configurations présentées en entrées et à les classifier. Il s´agit d´un apprentissage compétitif dans lequel aucun professeur n´est nécessaire, le réseau devant découvrir tout seul des régularités dans les entrées.
       J´ai proposé la méthode dite de la « cohérence de flux » [Bret 2006b, 2006c, 2007] qui cherche à rendre cohérents les flux d´entrée et de sortie, ce qui est une forme de résonance particulièrement efficace lorsque le réseau s´autoconfigure de façon permanente, tout en interagissant. Ceci est le cas des organismes vivants et aussi celui d´un acteur artificiel participant à un spectacle dans lequel il interagit avec des acteurs humains.
       En faisant l´hypothèse qu´un organisme est satisfait s´il est en accord avec son environnement, c’est-à-dire si la perception qu´il a du résultat de ses actions sur cet environnement est en accord avec elles, on peut supposer que le flux de ses actions est cohérent avec le flux de ses perceptions. Pour des signaux presque périodiques, on cherche à aligner leurs périodes et, pour des signaux quelconques on cherche à paralléliser leurs variations (ils croissent et décroissent en même temps). J'ai appliqué cet algorithme dans l'installation Chorégraphie interactive [Bret 2008].

Génération connexionniste de mouvements

       Une méthode très simple pour définir un mouvement de l'acteur virtuel consiste à coder les conduites (sur la couche de sortie du réseau de type perceptron) comme des couples (force de rotation autour d'un axe) appliqués aux joints du squelette :
       (Moment d'inertie) * d2a / dt2 = Moment de la force
l'angle de rotation s'obtient donc par une double intégration.
       Une autre méthode, plus proche de la réalité, consiste à coder une conduite par une force extérieure appliquée à un muscle considéré comme ressort linéaire dont on peut calculer la force de rappel, donc l'élongation (x - x0) et par suite l'angle de rotation de l'os attaché :
       masse * d2x / dt2 = raideur * (x - x0) - viscosité * dx / dt
       la résolution informatique de ces équations différentielles se fait par la méthode des éléments finis (approximation linéaire).
       Dans les deux cas une approximation de la déformation d'un muscle s'obtient par une transformation à volume constant lorsque la longueur change. Des conditions sur les variations de l'axe permettent de préciser le type de rotation : charnière pour un axe constant, quasi rotule pour un axe limité et rotule lorsque l'axe est remplacé par un point. 

1.1.4.2 Modélisation du système nerveux

       J’ai modélisé le « cerveau virtuel » au moyen de réseaux neuronaux qui assurent un comportement autonome et intelligent du personnage. Les entrées de ces réseaux sont connectées à des capteurs « regardant » l´environnement dont ce réseau fait partie, et les sorties sont connectées au système musculaire auquel elles envoient des impulsions. Les mouvements du personnage sont donc engendrés par une décision [Berthoz 2003] neuronale induite par l´interaction du corps avec son environnement et dépendant de la « connaissance » qu´il en a. Cette connaissance ne peut s´acquérir que par un apprentissage (supervisé ou non) au cours duquel les réseaux s´autoconfigurent de façon à maintenir l´équilibre homéostatique de l´organisme visant à favoriser sa survie.

1.2 Le problème de l´émergence : d´où venons-nous, qui sommes-nous, où allons-nous ?

       Mais comment ces personnages ont-ils été physiquement construits (robots ou programmes), c´est-à-dire comment sont-ils nés ?
       La première question est : qui décide de leur constitution initiale ? La réponse la plus courante est que le créateur (programmeur et/ou artiste) est le maître absolu. Si cette position a l´avantage de conforter l´égo du dit maître, elle a par contre le défaut rédhibitoire de bloquer toute évolution, toute autonomie, toute surprise, toute invention, aucune propriété "émergente" ne pourra jamais sortir d´un système qui a défini une fois pour toutes ce qui est possible et ce qui ne l´est pas.
       Une autre solution, beaucoup plus intéressante, consiste à considérer les réseaux neuronaux constituant le cerveau d´un être artificiel comme le résultat d´une évolution darwinienne [Darwin 1859]. Pratiquement nous définissons une population de tels réseaux entièrement aléatoires et donc certainement inefficaces. Puis, nous les faisons se croiser et muter avec des probabilités notées par des fonctions de « fitness » (adaptation) comme « faire un pas de danse », ce qui suppose de les faire agir suffisamment longtemps pour qu´il soit possible d´évaluer leur compétence en ce domaine. La même méthode peut être employée pour définir les autres constituants du corps (squelette, muscles...).
       La seconde question est : quid de leur devenir ? La solution généralement donnée est souvent la même : une narration, écrite à l´avance, décide du déroulement de l´histoire. Mais une histoire, avant de s´écrire, arrive et se vit. C´est justement toute la force de certains jeux de rôle en ligne qui offrent à une communauté d´utilisateurs la possibilité de s´inscrire dans une histoire qu´ils écrivent eux-mêmes. Pour notre propos, nous ne parlerons pas d´animation, mais plutôt d´évolution, en définissant une population d'acteurs et en étudiant leurs interactions entre eux et avec leur environnement dans lequel pourront se projeter d´éventuels spectateurs. C´est d´ailleurs le projet de la robotique évolutionniste [Doncieux, Meyer 2003] qui pose en termes de coévolution, et non plus seulement de compétition et de lutte; ce sujet, cher à la science-fiction, est celui des rapports futurs que pourront entretenir les hommes et les robots.

2 Le mouvement

       Selon Alain Berthoz [Berthoz 1997] le mouvement est à l´origine des comportements les plus évolués des êtres vivants. Ceci est vrai de la perception (regarder, c´est aussi se mouvoir dans l´espace) et aussi de l´intelligence (comprendre une transformation géométrique, c´est aussi l´effectuer mentalement). Apprendre la théorie des nombres et celles des ensembles à de jeunes enfants peut se faire très simplement par la manipulation d´objets (ex. : cubes qui doivent être regroupés par couleur).
       Le mouvement ne saurait se planifier complètement puisqu´il est la réponse de l´organisme aux sollicitations de son environnement et des autres organismes qui sont imprévisibles, sauf si ce mouvement se contente de jouer une pièce écrite antérieurement. Ce qui remet en cause la notion d´histoire, de scénario, au profit d´un récit ouvert.

2.1 Les techniques de générations de mouvements

2.1.1 La dynamique

       En affectant aux objets des propriétés physiques comme la masse, la raideur, la viscosité, la rugosité etc., et en les plaçant dans des champs de forces, il est possible de déterminer, à chaque instant, leur accélération, leur vitesse, leur position et les chocs éventuels avec des obstacles, au moyen des équations différentielles de la dynamique. Des méthodes de linéarisation permettent de traiter ce problème en temps réel. Des mouvements « crédibles » (naturels) sont ainsi produits, seulement pour des objets inanimés, mais qu´en est-il pour les mouvements des êtres vivants ? C´est la question de « l´intention » qui se pose ici : une pierre tombe sans le vouloir, alors qu´un animal court dans un but précis. Nous la résoudrons en donnant au cerveau artificiel une volonté qu´il découvrira, au cours d´un apprentissage interactif, en privilégiant certaines situations qui lui font « plaisir », en fait celles qui favorisent sa survie. Ces situations seront stockées dans des mémoires associatives jouant le rôle « d´attracteurs » lorsque l´être artificiel agira interactivement.

2.1.2 La cinématique inverse

       Issue de la robotique, cette méthode génère automatiquement les mouvements particuliers de chaque composante d´une structure articulée lorsque l´on ne définit le mouvement que de l'une d'entre elles. Par exemple l´animateur définit le mouvement d´une main allant saisir un objet, et les mouvements du poignet, du bras, de l´avant-bras, de tout le torse, etc. seront générés en conséquence. De tels procédés sont précieux pour décharger l´organe de décision (le cerveau) des détails d´une exécution, les réseaux n´auront à s´occuper que du seul mouvement de la main.

2.1.3 Le comportemental

       Des entités indépendantes et autonomes, interagissant entre elles et avec un environnement dans lequel elles sont plongées, forment un système multi-agents (SMA) [Tisseau 2007] [Plessiet 2007] [Plessiet 2008]. . Initialement issus de l´observation du comportement de certains insectes organisés en sociétés, les SMA trouvent des applications en intelligence artificielle pour résoudre les problèmes très complexes que sont par exemple la prévision du comportement d´un ensemblconnexione important d´éléments autonomes interagissant (vol d´oiseaux, banc de poissons, foules...) ou la planification des stratégies d´éléments organisateurs ou leaders travaillant ensemble dans un but commun (équipe de programmeurs, économie cognitive...).

2.1.4 L'approche animat

       Un animat [Meyer 1998] est un agent virtuel dont les comportements autonomes et adaptatifs sont inspirés de ceux des animaux. Il se compose :
- de capteurs recevant des informations de son environnement ;
- d´actuateurs agissant sur le monde extérieur
(les capteurs et les actuateurs constituent une interface entre l´animat et le monde, correspondant à la notion de membrane) ;
- d´une architecture de contrôle organisant les relations entre ces « entrées-sorties » qui peut être innée ou acquise par apprentissage (réalisation de certaines tâches, tout en cherchant à survivre).
       Au cours de générations successives d´une population d´animats certains caractères sont transmis et d´autres évacués (sélection artificielle au moyen d´algorithmes génétiques ou de programmation génétique).

2.1.5 Le connexionnisme

       Les entités du comportemental, comme les animats, sont des agents autonomes dont l´évolution dépend du flux d´information transitant dans le système depuis les capteurs jusqu´aux actuateurs.
       Les méthodes connexionnistes simulent le système nerveux des êtres vivants en munissant les êtres virtuels de neurones massivement interconnectés par des matrices de poids synaptiques formant des réseaux neuronaux qui s´autoconfigurent au cours d´apprentissages supervisés ou non.

2.1.6 L'évolutionnisme

       Une population de créatures autonomes peut évoluer, par croisements et mutations, en optimisant des fonctions de « fitness », selon une sélection artificielle de type darwinien [Darwin 1859]. Cette méthode permet de résoudre des problèmes trop complexes, ou mal définis, pour être traités par les méthodes analytiques classiques, ce qui est le cas de la plupart des questions que peut se poser un artiste.
       J'ai utilisé cette méthode pour faire émerger des mouvements crédibles effectués par des acteurs virtuels initialement libres de toute directive en donnant des contraintes biomécaniques (telles que la butée des coudes ou des genoux) comme fonctions de « fitness » au lieu de définir ces limitations par des conditions géométriques.
Voir la vidéo : Contraintes biomécaniques 2007.

2.2 Intégration d’éléments de la physiologie de la perception et de l’action

       En m’inspirant des stratégies du cerveau qui, pour contrôler des mouvements complexes, diminue le nombre de degrés d´action qu´il a sur les muscles en créant des corrélations automatiques entre certains paramètres [Berthoz 2009], j’ai intégré quelques principes et lois naturelles du mouvement afin de moduler certains comportements autonomes de la funambule virtuelle et de la danseuse virtuelle. Ces lois ont été intuitivement comprises par les sculpteurs et les acteurs qui ont su rendre les mouvements du corps et leurs relations avec les émotions.

2.2.1 La loi de la puissance 2/3

        Une loi, dite de la puissance deux tiers [Lacquantini, Terzuolo, Viviani, 1983] [Viviani, Schneider, 1991] [Viviani, Flash 1995], relie la cinématique du geste (vitesse) et la géométrie (courbure). Ainsi, si vous dessinez une ellipse sur une feuille de papier d’un mouvement naturel, on peut montrer une relation entre la courbure et la vitesse angulaire des mouvements de la main. Ce qui est remarquable, c’est que cette loi du mouvement naturel sous-tend aussi la perception du mouvement [Viviani et Stucchi, 1992]. Si on ne respecte pas cette loi, le mouvement apparaît artificiel. De façon plus générale, les lois de production du mouvement naturel influencent les lois de la perception du mouvement. Cette loi peut s’exprimer sous deux formes, l’une par rapport à la vitesse angulaire et l’autre par rapport à la vitesse tangentielle  :
A / R2/3 = constante, avec A = vitesse angulaire, R = Rayon de courbure.
V / R1/3 = constante, avec V = vitesse tangentielle et R = Rayon de courbure.
        En outre, les mouvements de la main et du bras deviennent plus complexes s’ils effectuent le dessin dans l’espace tridimensionnel. Alors, ils obéissent à loi de la puissance un sixième reliant non seulement la vitesse à la courbure, mais aussi à la torsion [Maoz, Berthoz, Flash 2009] [Pollick et al.,2012] [Maoz, Flash, 2014]. V = ? K 1/3.????1/6 avec V : vitesse tangentielle; K : courbure; ?? ; torsion; ? : coefficiant
Voir la vidéo : Loi de la puissance 1/3 2007 pour une approche évolutionniste de ce problème.

2.2.2 Opposition de phase

       Des mouvements secondaires peuvent être engendrés par des variations inverses. Par exemple, l´angle que fait le bras avec le corps d´une part, et l´angle que fait l´avant-bras avec le bras d´autre part, varient en sens inverse. Lorsque l’angle du bras par rapport au corps augmente, celui du bras par rapport à l’avant-bras diminue d’une quantité égale. Cette contrainte cinématique permet de contrôler le mouvement avec un seul paramètre, en ne faisant varier que le rapport d’amplitude des deux angles, ce qui simplifie considérablement le contrôle.

2.2.3 Le plan de phase

       Lorsque nous bougeons une jambe, les trois angles que font respectivement la cheville avec la jambe, la jambe avec la cuisse et la cuisse avec le tronc sont en dépendance linéaire. Dans un espace 3D représentant les variations de ces angles, les points de cet espace, ayant pour coordonnées la valeur de ces variations, restent au voisinage d’un plan, appelé le plan de phase.
       On peut constater d´une part que, dans ce cas, les points correspondants restent assez proches d´un plan idéal, alors que, pour d´autres parties du corps, cette corrélation n´est pas nécessairement vérifiée et que, d’autre part, elle n’est pas vérifiée de façon continue, mais sur des segments de mouvements.

2.2.4 Systèmes de référence

À côté de la gravité ou des référentiels géométriques comme les verticales, les horizontales, ou encore l’axe du corps, d’autres systèmes de référence peuvent être utilisés par le cerveau. Ainsi on peut décrire les mouvements de deux danseurs dans d'autres référentiels : par rapport à l’environnement, par rapport au corps même du danseur, par rapport au partenaire et, enfin, dans un référentiel d’interaction entre les deux danseurs dans lequel les deux précédents référentiels sont liés par certaines contraintes : par exemple le regard de chaque danseur peut être fixé sur le regard de l’autre.

2.3 L'interactivité

       Le vivant ne peut se concevoir sans interaction avec un environnement et d´autres vivants. Nous distinguons plusieurs types de systèmes que nous allons décrire : les systèmes réactifs, les systèmes rétroactifs, les systèmes homéostatiques, les systèmes adaptatifs, les systèmes vivants et les systèmes d'interactivité intelligente.

2.3.1 Les systèmes réactifs

       Ils obéissent au principe de l´action-réaction : à tel geste, il se produit telle action. C´est le cas des dispositifs mécaniques et même de la plupart des systèmes informatiques construits sur la notion de contrôle que nous opposons à celle d´autonomie. C´est, par conséquent, le cas de nombreuses installations dites interactives utilisant ce genre de système.

2.3.2 Les systèmes rétroactifs

Ils sont construits sur le principe de la boucle rétroactive, ou feedback, de la première cybernétique 2, et popularisés par le régulateur de Watt. Les systèmes de contrôle et la robotique en font un large usage, les artistes et les jeux assez évolués l´utilisent aussi.

2.3.3 Les systèmes homéostatiques

       Ils tentent de conserver un état d´équilibre en ajustant leur action en fonction de la réponse de l´environnement, ce qui suppose qu´ils soient capables de percevoir.

2.3.4 Les systèmes adaptatifs

       Ils adaptent non seulement leur réponse, mais encore leur seuil d´équilibre, ce qui suppose qu´ils soient capables de se modifier eux-mêmes. On retrouve ici la notion d´autopoïèse telle que l´a définie Varela dans l'inscription corporelle de l'esprit [Varela 1999] et la notion de seconde cybernétique3,.

2.3.5 Les systèmes vivants

       Leur simulation informatique sous la forme de réseaux de neurones artificiels fait appel au connexionnisme. Si on s´intéresse à des populations de tels créatures et à leur évolution ontogénétique et phylogénétique (dont l´implémentation informatique fait appel aux algorithmes génétiques) on parlera alors de vie artificielle [Heudin 1994].

2.3.6 L'interactivité intelligente

       La première interactivité, ou interactivité de commande est celle de la simple boucle rétroactive de la première cybernétique 1 et qui est à la base de la plupart des systèmes interactifs.
       Puis la seconde interactivité [Tramus Bret Couchot 2003], par analogie avec la seconde cybernétique 3 qui apparaît dès lors que le système qui la produit est capable de se modifier lui-même au cours d’un apprentissage par lequel il interagit avec son environnement afin de s’y adapter. Il s’agit bien là d’un comportement que l’on pourrait qualifier d’ « intelligent » et qui traduit le concept d’autopoïèse introduit par Francisco Varela [Varela 1999].
       Pour mettre en oeuvre ce concept, il faut construire un système interactif intelligent, autonome et possiblement émotionnel, susceptible d´éprouver des émotions et non pas seulement de les montrer. Alors, on entre dans un nouveau domaine aux frontières de l´art, des neurosciences et de l´informatique.

3 Émotions artificielles

       Je vais maintenant donner une interprétation artistico-technique des travaux d'Antonio Damasio [Damasio 1999] en vue de futures créations. Il ne s'agit en aucun cas d’une approche scientifique des émotions, mais simplement d'une inspiration de ses travaux pour intégrer le rôle des émotions dans la création des acteurs virtuels dans une perspective artistique.
       Les trois schémas suivants (Figure 5 6 7) visualisent les simulations des émotions, des sentiments et de la conscience par des réseaux neuronaux dont les matrices des poids synaptiques sont représentées par des images pixels.

3.1 Émotions

       Les émotions sont des manifestations publiques de réactions innées d’un organisme en interaction avec son environnement, elles ont été retenues par l’évolution, car elles contribuent, en tant que contrôle homéostatique, à la survie de l’organisme.
       Damasio a montré, avec son hypothèse du marqueur somatique [Damasio 1999], que des individus, entièrement rationnels jusqu’à ce que survienne une lésion neurologique dans des régions cérébrales contrôlant l’émotion, perdent alors, non seulement l’émotion, mais encore leur capacité à prendre des décisions rationnelles. Ainsi l’émotion fait partie intégrante des procédures de raisonnement et de prise de décision, elle vise à la survie de l’organisme et s’enracine dans la représentation du corps.
       Je propose de modéliser ce « proto soi » basique des émotions (Figure 5), par des sortes d'orages neuronaux (manifestation de perceptions extrêmes) dont les réponses seront données par des réseaux innés (cartographies du premier ordre ne dépendant pas d'un apprentissage).

3.2 Sentiments

       Les sentiments, représentations intérieures des émotions, émergent avec la représentation de l’interaction de l’organisme avec son environnement et des modifications subies par le proto soi.
       Pour modéliser cette « conscience noyau » (Figure 6), je propose de construire des cartographies du second ordre connectant celles du premier ordre relatives aux émotions, et susceptibles d'apprentissages.

3.3 Conscience

       La conscience étendue peut se voir comme le fonctionnement du triplet organisme-environnement-interaction; c’est la connaissance construite d’une part sur la relation de l’organisme à son environnement et, d’autre part, sur les changements provoqués dans l’organisme, sous forme de configurations neuronales.
       Les apprentissages inscrivent leur histoire dans une mémoire autobiographique. L’évocation de souvenirs réveille des images mentales (configurations neuronales) pouvant être perçues, au même titre que des objets réels, et susciter des émotions, générant des sentiments, eux-mêmes pouvant modifier la mémoire autobiographique (Figure 7).
       Selon Damasio, la conscience est la condition de l’intelligence qui manipule abstraitement des connaissances afin de pouvoir élaborer de nouvelles réponses, grâce, en particulier, au langage.

3.4 Une conscience artificielle ?

       La synthèse d’émotions artificielles ne suppose finalement que l’existence d’un protocole, ce que les réseaux neuronaux permettent assez facilement de construire. Par contre, si on voulait lier l’émotion à des comportements intelligents, il faudrait définir différents niveaux de conscience, depuis la conscience noyau permettant les sentiments jusqu’à la conscience étendue, condition de l’intelligence, et il s’agit là d’une tâche autrement plus difficile.
       J’ai l’intention de mettre en scène des acteurs virtuels manifestant, par leur attitude corporelle et leurs expressions, des émotions artificielles suscitées par leur interaction avec leur environnement et avec des acteurs humains. Une organisation automatique des réseaux associés aux émotions en réseaux d'ordres supérieurs constituant des représentations de ces émotions, début d'une sorte de conscience artificielle, dont on peut attendre des comportements émotionnels imprévus, improvisés, mais cohérents.

Conclusion

       Mes acteurs virtuels, plongés dans des mondes simulés par des algorithmes non déterministes (du type réseaux neuronaux ou algorithmes génétiques), vivent librement des rêves dont les comportements m'échappent, qui m'étonnent, et dont j'essaye d'en faire partager l'émerveillement en les sauvegardant, réalisant ainsi le souhait que tout un chacun a pu faire un jour de pouvoir enregistrer ses rêves. En voici quelques exemples :
       Dans le film [CryBaby 2000], une danseuse interagit avec les délires vocaux de Janis Joplin dans un univers de bulles entièrement généré par la musique.
       Dans [Suzanne 2000], une actrice virtuelle interagit avec un monde créé par la poésie de Leonard Cohen.
       Dans [Les Cloches de l'Enfer 2000], des danseuses virtuelles improvisent au rythme du sirtaki sur une musique de Mikis Theodorakis.
       Dans [Cahin Caha 1996], une actrice virtuelle interagit avec un univers courbe sur une musique de Christian Heintz (Figure 8).
       Dans [Défilé de Mode 1998], des actrices virtuelles interagissent avec un univers courbe et une musique retraitée, tout à la fois causes et conséquences les uns des autres.
       Dans [Mystère et Boule de Gomme 1997], des actrices virtuelles interagissent dans un univers courbe avec une musique retraitée dans lequel elles se fondent tout en les générant.
       Dans [Betzeparticules 1997], des hybrides de bêtes fantastiques, de navires et de mécaniques improbables se succèdent dans un monde de particules dynamiques avec lesquelles elles interagissent sur une musique de Janvier Payrard
       Dans [Ploum Ploum Tralala 1993], une figure de synthèse écarte un petit robot avec lequel elle danse sur une musique de Christian Heintz.
       Dans [Élorap 1992], des entités indéterminées émergent de mondes courbes, flous et instables tout en les créant (musique de Christian Heintz).
       Dans [Saute 1989], des êtres hybrides de bêtes et de mécaniques naviguent dans un monde courbe dont elles provoquent les fluctuations et en subissent les effets (musique de Christian Heintz).
       Dans [Tacauto 1990], des actrices virtuelles interagissent avec un monde dont elles provoquent et subissent les modifications (sur une musique de Christian Heintz).
       Dans [Automappe 1988], des organismes mécaniques interagissent au sein d'un univers fantastique et onirique (sur une musique de Christian Heintz).
       Dans [La Petite Danseuse 1984], une petite danseuse de synthèse se livre à une danse impossible sur une musique de François Mechiali.
       Tous ces films et tous les acteurs virtuels qui les peuplent, dont j'ai perdu, pour certains, les sources des programmes les ayant générés, ont retrouvé une vie interactive avec l'installation Dream Attractor [Bret, Trmus 2019] [ Dream Attractor 2019]. Elle offre au spectateur la possibilité de créer de nouvelles visions oniriques (imagées et musicales) selon des mixages de mappings flous, transparents, et dynamiques à partir de séquences animées tirées de ces quarante ans d’animation de synthèse.

Bibliographie

Abdi H. (1994) Les réseaux de neurones, Presses universitaires de Grenoble.
Berthoz A (1997) Le Sens du mouvement, Odile Jacob.
Berthoz A. (2003) La Décision, Odile Jacob.
Berthoz A. (2009) La Simplexité, Odile Jacob, Paris
Bret M. (1998) "Une méthode comportementale de modélisation et d´animation du corps humain"..
Bret M. (2000a) Expérimentation dans les arts du connexionnisme, actes ISEA 2000. .
Bret M. (2000b) Virtual Living Beings », in Lecture Notes in Artificial Intelligence 1834: Virtual Worlds 119- 134, Ed. Jean - Claude Heudin, Springer 2000.
Bret M. Tramus M.-H (2000) La Funambule virtuelle », A.T.I. Université Paris 8.
Bret M., Tramus M.-H. (2001) Danse avec moi », A.T.I. Université Paris 8.
Bret M., Tramus M.-H., Berthoz A. (2005) Interacting with an intelligent dancing figure: artistic experiments at the crossroads between art and cognitive science » in Leonardo Volume 38, Number 1, pp 47-54.
Bret M. (2006a) Émotion artificielle », ITAU Cultural, Saopaulo, Brésil.
Bret M. (2006b) Au-delà des esthétiques intermédias avec les SDNL » Journée Art / technologies de l’information et de la communication Université Le Mirail Toulouse.
Bret M. (2006c) « Émergence et résonance neuronale », in Journée Art/technologie de l´information et de la communication, Universalité Le Mirail Toulouse.
Bret M. (2007) Création, émergence, autonomie », Rencontres sur La réalité virtuelle et les arts numériques Centre des Art d’Enghien mars 2007.
Bret M. (2008) Chorégraphie interactive », Ateliers Réseaux Arts Numériques, LIMSI-CNRS..
Bret  M.,  Tramus  M.-  H.,  (2019)  " l'attracteur de rêve "..
Cardon A. (2000) Conscience artificielle et systèmes adaptatifs, Eyrolles 2000.
Cardon A.(2004) Modeliser et concevoir une machine pensante, Vuibert 2004.
Chazal G. (2000) Les Réseaux du sens: de l´informatique aux neurosciences, Champ Vallon.
Couchot E. (2012) La Nature de l´art, Herman 2012.
Damasio A. (1995) L’Erreur de Descartes, Ed Odile Jacob.
Damasio A. (1999) Le Sentiment même de soi, Ed Odile Jacob.
Darwin C. (1859) L'Origine des espèces, Flammarion réédition, Paris 2008.
Doncieux S., Meyer J.-A.; (2003) « L'approche animat et la robotique évolutionniste ». JNRR'03 - Quatrièmes Journées Nationales de Recherche en Robotique, 2003. Murol, France. hal-01532229.
Edelman G. (1987) Neural Darwinism: The Theory of Neural Group
Selection, Basic Book, New York.
Edelman G. (2000) Comment la matière devient conscience, Ed Odile Jacob.
Heudin J.-C. (1994) La Vie Artificielle, Hermès.
Lacquantini F., Terzuolo C., Viviani P. (1983) « The law relating the kinematic and figural aspects of drawing movements », Acta Psychologica, 54 115–130.
Linnainmaa S. (1970) « The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors ». Master's Thesis (in Finnish), Univ. Helsinki.
Maoz U., Berthoz A., Flash T. (2009) « Complex Unconstrained Three-Dimensional Hand Movement and Constant Equi-Affine Speed ». Journal of Neurophysiology 101(2):1002-15 · February 2009.
Maoz U and Flash T (2014) « Spatial Constant Equi-Affine Speed and Motion Perception ». Journal of Neurophysiology. 111:336-349.
Maturana H. (2007) « Systemic versus genetic determination », Constructivist Foundations, vol. 3, no 1.
McCulloch, Pitts W.H (1943) « A logical calculus of the ideas immanent in nervous activity », Bulletin of Mathematical Biophysics, 5: 115-138.
Meyer J.-A (1998) « Les animaux artificiels sont-ils pour demain ? », in La recherche, 313 46-50, octobre 1998.
Neumann von J. (1966) « Theory of Self-Reproducing Automata », University of Illinois.
Plessiet C. (2007) « Systèmes multi-agents, effets spéciaux et temps réel » In Rencontres de la réalité Virtuelle et des arts Numériques, revue ATI 2007. Plessiet, C. (2008) « Créatures réelles, créatures pixels : de l’analyse scientifique à l’appropriation artistique ». Eureka le moment de l’invention, un dialogue entre art et sciences, Dirs.Toulouse I., Danétis D., Éd. L’Harmattan, coll. Arts 8.
Plessiet C. (2019) « Quand la marionnette coupe ses fils. Recherche sur l’acteur virtuel », Synthèse d’Habilitation à Diriger des Recherches, soutenue le 9 octobre 2019 à l’Université Paris 8.
Pollick FE, Maoz U, Handzel AA, Giblin PJ, Sapiro G and Flash T (2009) « Three-Dimensional Arm Movements at Constant Equi-Affine Speed. Cortex ». 45:325-339.
Prigogine I. (1992) À la rencontre du complexe - avec Grégoire Nicolis, Presses universitaires de France, (ISBN 2-1304-3606-4).
Prigogine I. (1993), Les Lois du chaos Flammarion.
Richer P. (1988) Traité d´Anatomie Artistique, Bibliothèque de l´Image,édition inter-livres.
Rumelhar D., Geoffrey E.-.H, Williams R.-J. (1986-10) « Learning representations by back-propagating errors ». Nature. 323 (6088): 533–536. doi:10.1038/323533a0. ISSN 1476-4687.
Thalmann D. (1996) « A New Generation of Synthetic Actors: the Real-time and Interactive Perceptive Actors », In Proc. Pacific Graphics 96}.
Thalmann D. (1998) « Interagir avec des êtres virtuels », Computer Graphics Lab, EPFLCH 1015 Lausanne Switzerland.
Tisseau J, Parenthoe M., Harrouet F. (2007) « Autonomie des objets virtuels », Techniques de l’ingénieur, Réf : H7005 v1, 10 août 2007. https://www.techniques-ingenieur.fr/base-documentaire/archives-th12/archives-technologies-logicielles-et-architecture-des-systemes-tiahb/archive-1/autonomie-des-objets-virtuels-h7005/
Tramus M.-H., Bret M., Couchot E. (2003), « La seconde interactivité », in Arte e vida no século XXI, Organizadora Diana Domongues, UNESP, Brazil.
Turing A. (1950) « Computing machinery and intelligence », Mind, pp 433-460.
Varela F. (1999) L´inscription corporelle de l´esprit, Ed du Seuil.
Viviani P., Schneider R. (1991) « A developmental study of the relation between geometry and kinematics of drawing movements », Journal of Experimental Psychology (Human Perception), vol 18: 603-623.
Viviani P., Stucchi N. (1992) « Biological movements look uniform: evidence of motor-perceptual interactions », Journal of experimental psychology: Human perception and performance, 18(3): 603-623.
Viviani P., Flash T. (1995) « Minimum-jerk, to-thirds power law, and isochrony : Converging approaches to movement planning », J Exp Psychol Hum Percept Perform, 21, 32-53.
Werbos P. J. (1974) Beyond regression: new tools for prediction and analysis in th behavioural sciences, Doctoral Dissertation, Applied Mathematic, Havard University.
Wiener N. (1948) Cybernetics or Control and Communication in the animal and the Machine, Cambridge (Mass).

Webgraphie des créations citées

/a>

Films d’animation 3D

Automappe, 1988.
Betzeparticules, 1997.
Cahin Caha, 1996.
CryBaby, 2000.
Défilé de Mode, 1998.
Elorap, 1992.
La Petite Danseuse, 1984.
Les Cloches de l'Enfer, 2000.
Mystère et Boule de Gomme, 1997.
Ploum Ploum Tralala,1993.
Saute, 1989.
Suzanne, 2000.
Tacauto, 1990.

Installations interactives

Dream Attractor, 2019, Bret M., Tramus M.-H.  :  Dream attractor.
rêve.
Dream Attractor, 2019, Bret M., Tramus M.-H.
La Funambule virtuelle, 2000 Bret M., Tramus M.-H., Berthoz A.

Démos

Contraintes biomécaniques, 2007.
Loi de la puissance 1/3 (2007).

















Figures



Figure 1 : Le peintre et son modèle de Pablo Picasso (1970)
Crédit photographique : © Philippe Migeat - Centre Pompidou, MNAM-CCI /Dist. RMN-GP© Succession Picasso




















Figure 2 : Squelette



















Figure 3 : Système musculaire



















Figure 4 : Laser virtuel



















Figure 5 : Protosoi




















Figure 6 : : Conscience noyau




















Figure 7 : Mémoire autobiographique




















Figure 8 : Rêve de l'acrobate virtuelle dans le film Cahin Caha 1996.


















Notes

Les réseaux neuronaux
La première cybernétique
La seconde cybernétique/a>



















Les réseaux neuronaux

l´idée de neurone artificiel date de 1943 avec les travaux de McCulloch et Pitts [McCulloch Pitts 1943] et ceux de David Rumelhart [Rumelhart 1986] qui appliqua l'algorithme de la rétropropagation de l'erreur publié par Sepp Linnainmaa [Linnainmaa 1970]. Cet algorithme a été développé par Paul Werbos en 1974 [Werbos 1974] qui devait populariser le « deep learning ». Il s'agit d'une méthode d'apprentissage supervisé sur des réseaux neuronaux de type perceptron à couches représentant très imparfaitement la réalité des systèmes nerveux qui sont massivement réentrants.

















La première cybernétique

a pu être définie comme la science du contrôle des systèmes, vivants ou artificiels, fondée en 1948 par le mathématicien américain Norbert Wiener [Wiener 1948]. Elle explique comment un système maintient l'homéostasie par une auto régulation (boucle de rétroaction).

















La seconde cybernétique

Alors que la première cybernétique était celle des systèmes observés, Heinz von Foerster considère une seconde cybernétique, qui est celle des systèmes observant, pouvant évoluer et créer de nouvelles structures par auto-organisation [Maturana 2007] et autopoïèse [Varela 1999], de tels systèmes se modifient donc eux-mêmes. Prigogine a montré que, dans certaines conditions, en s’éloignant de son point d’équilibre, un système ne va pas nécessairement vers sa disparition, mais vers un nouvel état d’équilibre. Les situations extrêmes recèlent la possibilité de créer une nouvelle structure là où il n’y avait que du chaos [Prigogine 1993], on parlera alors d'émergence et de complexité [Prigogine 1992].