Certains liens ne seront pas actifs s´il n´y a pas de connexion internet.
Principe
Intention
href=
Cette installation reprend deux techniques:
l´
automapping (1988)
et l´algorithme de la
cohérence de flux (2006)
pour produire une harmonie entre les actions du spectateur et le résultat.
Plusieurs jeux de paramètres et d´animations compactées dans des multi images
(comprenant toute une série de plans de pixels) sont disponibles:
un univers floral (animation accélérée d´éclosion de fleurs).
animations diverses issues de mes
films.
Vidéo
imaflow-2018-09-11.flv
Description
------------>
Il faut:
1) un local obscur d´environ 3m X 3m X 2.50m dont les 6 faces sont peintes en blanc.
2) un vidéo projecteur grand angle assez puissant dont l´image couvre toute
la pièce (immersion).
vidéo projecteur ===> image <
3) un ordinateur PC: 5GHz, 8Go, système Windows, bonne carte graphique (NVIDIA récente).
4) plusieurs micros sur pied de hauteurs différentes (pour les enfants, les adultes et
l´interaction entre les spectateurs.) dont les signaus sont mixés vers
l´entrée micro extern de l´ordinateur.
micros => input audio externe PC
Technique
Un vecteur capteur (dimension = nombre de capteurs) et ses deux dérivées successives
(vitesse et accélération) sont connectés aux paramètres de l´
automapping qui reproduit récursivement une scène 3D de surfaces mappées par des
images animées stockées sous forme d´images
3D
et également aux paramètres de génération de musique.
audio => fft => dynamique => automapping
Une couche "intelligente" est interposée entre la capture et l´
autommaping: les capteurs nourricent les entrées de réseaux neuronaux
complètement
connectés dont les sorties agisent sur les paramètres de l´automapping.
Ces réseaux sont continuement entrainés par l´algorithme
de la
coherence de flux de façon à assurer une harmonie entre l´action
des interacteurs et l´effet visuel ou musical obtenu.
audio => réseau neural => output => fft => dynamique => automapping => feed back
Programmation
Le programme
imaflow.func de gestion des images et des
réseaux neuronaux ainsi que le programme
sensor.func de gestion des capteurs sont écrits en langage anyflo,
commentés et modifiables.
Les paramètres courants sont stockés dans le fichier
IMAFLOW
et lus à chaque lancement du programme, mes paramètres par défaut
sont stockés dans le fichier
IMAFLOW0 et ne doivent pas être modifiés.
Le menu
PARAM_CHANGE permet de les modifier et le menu
PARAM_WRITE permet de les sauver dans le fichier
IMAFLOW.
Cette installation gère, en fonction des capteurs, un flux d´images animées
stockées selon plusieurs modes:
En mémoire
Name_MEM est une liste de dossiers
diri supposées contenir des images 3D
diri,j.
Avant le mode interaction la commande
interaction meta(1,2)directory("dir1 dir2 ...")dim(128)interpol(25)image(-1,-1)
construit les images
i correspondant à toutes les
images 3D
diri,j de tous les directorire
diri.
En cours d´animation la commande
interpol texture speed(s)vol(id); change la vitesse
des bitmaps du volume
id.
Sur le disque
Avec l´option
inp.
Sounds
Le menu
SOUNDS permet de lire des fichiers
.wav et de les jouer.Les commandes
audio play(n) jouent
le son
n dépendant des variations des capteuurs.
Un fonctionnement avec feed-back peut être
très simplement obtenu en rapprochant le micro des enceintes (en évitant le Larsen).
Un exemple de fichier de lancement d´une application est
imaflow_3.js, il faut alors
régler les paramètres de
l´audio en fonction du bruit ambiant et du niveau de la musique.
Remarque:
Pour modifier les paramètres: enfoncer la touche
:.
Sounds automatique
Cliquer sut
imaflow_wav.js:
lance le serveur de mémoire partagée
audio_server.func
qui lance
imaflow.js au bout de 2 secondes, ce qui
permet à la fenêtre de ce dernier de couvrir le
premier et ainsi de pouvoir interagir à la souris at au
clavier.
Menus
Enfoncer la touche
: (deux points) pour faire apparaitre et disparaitre les menus.
HEL
Aide.
DOC
Ce fichier.
BUILD
HEL
BUILD_1
Construit un ciel.
BUILD_2
Construit deux cieux.
BUILD_3
Construit trois cieux.
BUILD_5
Construit cinq cieux.
NET
Modifier:
hide = nombre de couches cachées
couples = nombre de couples d´apprentissage
memory(1)roll=.25*Sensor;
m=validate motif(memory(1))network(1);
PARAM
HEL
Aide.
CHANGE
Modifier les échelles:
dim: dimension des motifs et des lois du réseau neuronal.
modifier type: période du changement automatique de interpol texture number.
force: coefficient de force, raideur et viscosité.
speed: limit speed vertex.
directory: numéro du directory actif.
kdir: coefficient réglant l´amplitude des directorys.
speed max: amplitude maximale de texture speed.
coe: coefficient multiplicateur de texture speed.
échelles des texture speed.
Tous ces paramètres sont lus et sauvés.
READ0
Lit et exeécute le fichier IMA_FLOW0 (ne pas modifier ce fichier).
READ
Lit et exeécute les fichier IMAFLOW et SENSOR, ces ichiers sont lus au lancement
du programme, pour lire un autre ichier utiliser l´option par=XXX.
WRITE
Écrit les paramètres dans les fichiers IMAFLOW et SENSOR.
SOUNDS
HEL
Aide
READ
Cliquer sur des noms de fichiers wav: les charge.
PLAY
Cliquer sur n: joue wav numéro n.
STOP
Stoppe sounds.
ON/OFF
yes/no sounds.
ILLUM
yes/no illum.
TRANSP
Active/désactive la transparence automatique.
AUTO
automappe.
ROTA
Rotations de l'automappe.
MOVE
Translations de l'automappe.
MAN
Mode manuel: texture interpol directory est fixe et peut
être changé par:
0: retoru au mode automatique.
1 2 ... 9: directory numéro 1 2 ... 9
ou en mode MINI par:
i: augmente le numéro;
k: diminue le numéro;
DEBUG
Mode debug, des messages sont émis.
INI
Régénère les cieux.
EXI
Termine le programme.
Raccourcis clavier
: cache les menus\n";
; cache la souris\n";
0,1,...,9 directory number dans [0,texture directory NP[
A AUTO.
a succession aléatoire d´images.
z succession linéaire d´images.
e r t y 1,2,3,5 cieux.
u succession périodique d´images.
coe audio
key: modifie number.
I INI.
n ROTA
N MOVE
(visible sur le mini menu:
M mini menu (en haut de l´écran):
p augmente la sensibilité du capteur.
m diminue la sensibilité du capteur.
i augmente le numéro du directory.
k diminue le numéro du directory.
Si TRANSP est actif (transparence automatique):
o augmente la transparence.
l diminue la transparence.
r un ciel.
t deux cieux.
y trois cieux.
T comme TRANSP.
K comme MAN.
w x c v b directorys.
q quitte le programme\n";
Options
: cache les menus
- cache la souris
b: number bases bases, 1 ciel, capteur fft.
aut AUTO.
aut=a AUTO, a = différentiel entre auto et no auto (7 par défaut).
b: charge les *.ima des dossiers "part CHC DDM MBG-LCE"
bas=n: nombre de bases
coe=c: Coe2[2]=Coe2[3]=e.
deb: mode debug
def: paramèstres par défaut, après létiquette
(case("def") modifier:
nb=nombre de bases
ns=nombre de cieus
file=noms des dossiers contenant des images 3D *.ima
dir=../: dossier des datas (../../ par défaut)
exp=e: Exp[2]=Exp[3]=e.
fft: FFT.
fil=File1 File2 ...: dosiers *.ima.
imanam=dir/name.eee nom des images sauvées, l´option num=im1,ni est obligatoire.
mou: MOUSE.
mou=c: modifie coe mousse.
net réseaux neuronaux.
num=im1,ni premier numéro et nombre des images sauvées par l´option nam.
par lecture du fichier IMA_FLOW.
par=XXX lecture du fichier XXX.
rea: paramèstres par défaut de l´option
senrea de lecture du capteur, modifier les paramètres
après létiquette (case("rea").
reasav: paramèstres par défaut de l´option
senrea de lecture du capteur et des options sav et
num, modifier les paramètres
après létiquette (case("reasav").
sav: paramèstres par défaut de l´option imanam=dir/name.eee,
après létiquette (case("sav") modifier les paramètres.
sha: capteur via la m&eaute;moire partagée A.
sinsav: capteur SIN
sin: capteur SIN et
sauvegarde des images.
sky=1,2,3,5: 1, 2, 3, 5 cieux.
tra: active la transparence automatique modifiable dans Coe_Transp.
wav=Wav: directory *.wav
wri: paramèstres par défaut de l´option
senwri d´écriture du capteur, modifier
les paramètres après létiquette (case("wri").
inp=dir
Lit les fichiers du directory dir supposé contenir les images 3D de base
_0.ima _1.ima ... _x.ima
Permet de traiter un nombre indétermiuné de fichiers mais peut
provoquer un ralentissement pour de grosses bases de données.
com
com=d1 d2 ...: calcule toutes les images à partir de dossiers di contenant des images 3D.
Options programmées
Les fichiers *.js donnent des exempled d´options programmées.
Les options peuvent être ajoutées dans la fonction option():
imaflow_senwri.js: écrit les valeurs du capteur dans le fichier sensor.mem
imaflow_reasav.js: lit les valeurs du capteur depuis le fichier sensor.mem et sauve
les images dans les fichiers ../../A/A[0001,500].bmp
Aller dans ../mount et monter les images.
Aller dans ../ima_song et générer la musique.
Quand le programme est lancé des échelles permettent de modifier
interactivement les paramètres puis de les PARAM_WRITE.sauiver
sensor.func
Outils
make_ima
Construit le fichier name2.ima dont les couches sont les images
A[num,num+ni-1].zzz/D de dimension d.
Les options sont en tête de la fonction.
redim
La fonction redim_ima.func
change les dimensions d´image 3D *.ima