IMAFLOW



Certains liens ne seront pas actifs s´il n´y a pas de connexion internet.

Principe
Sounds
Menus
Raccourcis clavier
Options
Options programmées
Outils

































Principe

intention
Vidéo
Description
Dechnique
Programmation
En mémoire
Sur le disque

Intention

href= Cette installation reprend deux techniques:
automapping (1988)
et l´algorithme de la cohérence de flux (2006)
pour produire une harmonie entre les actions du spectateur et le résultat.
Plusieurs jeux de paramètres et d´animations compactées dans des multi images (comprenant toute une série de plans de pixels) sont disponibles:
un univers floral (animation accélérée d´éclosion de fleurs).
animations diverses issues de mes films.

Vidéo

imaflow-2018-09-11.flv

Description

Il faut:
1) un local obscur d´environ 3m X 3m X 2.50m dont les 6 faces sont peintes en blanc.
2) un vidéo projecteur grand angle assez puissant dont l´image couvre toute la pièce (immersion).

vidéo projecteur ===> image <


3) un ordinateur PC: 5GHz, 8Go, système Windows, bonne carte graphique (NVIDIA récente).
4) plusieurs micros sur pied de hauteurs différentes (pour les enfants, les adultes et l´interaction entre les spectateurs.) dont les signaus sont mixés vers l´entrée micro extern de l´ordinateur.

micros => input audio externe PC

Technique

Un vecteur capteur (dimension = nombre de capteurs) et ses deux dérivées successives (vitesse et accélération) sont connectés aux paramètres de l´ automapping qui reproduit récursivement une scène 3D de surfaces mappées par des images animées stockées sous forme d´images 3D et également aux paramètres de génération de musique.

audio => fft => dynamique => automapping


Une couche "intelligente" est interposée entre la capture et l´ autommaping: les capteurs nourricent les entrées de réseaux neuronaux complètement connectés dont les sorties agisent sur les paramètres de l´automapping.
Ces réseaux sont continuement entrainés par l´algorithme de la coherence de flux de façon à assurer une harmonie entre l´action des interacteurs et l´effet visuel ou musical obtenu.

audio => réseau neural => output => fft => dynamique => automapping => feed back

Programmation

Le programme imaflow.func de gestion des images et des réseaux neuronaux ainsi que le programme sensor.func de gestion des capteurs sont écrits en langage anyflo, commentés et modifiables.
Les paramètres courants sont stockés dans le fichier IMAFLOW et lus à chaque lancement du programme, mes paramètres par défaut sont stockés dans le fichier IMAFLOW0 et ne doivent pas être modifiés.
Le menu PARAM_CHANGE permet de les modifier et le menu PARAM_WRITE permet de les sauver dans le fichier IMAFLOW.

Cette installation gère, en fonction des capteurs, un flux d´images animées stockées selon plusieurs modes:

En mémoire

Name_MEM est une liste de dossiers diri supposées contenir des images 3D diri,j.
Avant le mode interaction la commande interaction meta(1,2)directory("dir1 dir2 ...")dim(128)interpol(25)image(-1,-1) construit les images i correspondant à toutes les images 3D diri,j de tous les directorire diri.
En cours d´animation la commande interpol texture speed(s)vol(id); change la vitesse des bitmaps du volume id.

Sur le disque

Avec l´option inp.

Sounds

Le menu SOUNDS permet de lire des fichiers .wav et de les jouer.Les commandes audio play(n) jouent le son n dépendant des variations des capteuurs.
Un fonctionnement avec feed-back peut être très simplement obtenu en rapprochant le micro des enceintes (en évitant le Larsen).
Un exemple de fichier de lancement d´une application est imaflow_3.js, il faut alors régler les paramètres de l´audio en fonction du bruit ambiant et du niveau de la musique.
Remarque:
Pour modifier les paramètres: enfoncer la touche :.

Sounds automatique

Cliquer sut imaflow_wav.js:
lance le serveur de mémoire partagée audio_server.func
qui lance imaflow.js au bout de 2 secondes, ce qui permet à la fenêtre de ce dernier de couvrir le premier et ainsi de pouvoir interagir à la souris at au clavier.































Menus

Enfoncer la touche : (deux points) pour faire apparaitre et disparaitre les menus.

HEL
DOC
BUILD
NET
SENSOR
PARAM
SOUNDS
ILLUM
TRANSP
AUTO
ROTA
MOVE
MAN
DEBUG
INI
EXI

HEL

Aide.

DOC

Ce fichier.

BUILD

HEL
BUIULD_1
BUIULD_2
BUIULD_3
BUIULD_5

HEL

BUILD_1

Construit un ciel.

BUILD_2

Construit deux cieux.

BUILD_3

Construit trois cieux.

BUILD_5

Construit cinq cieux.

NET

Modifier:
       hide = nombre de couches cachées
       couples = nombre de couples d´apprentissage
memory(1)roll=.25*Sensor;
m=validate motif(memory(1))network(1);

PARAM

HEL
CHANGE
READ0
READ
WRITE

HEL

Aide.

CHANGE

Modifier les échelles:
dim: dimension des motifs et des lois du réseau neuronal.
modifier type: période du changement automatique de interpol texture number.
force: coefficient de force, raideur et viscosité.
speed: limit speed vertex.
directory: numéro du directory actif.
kdir: coefficient réglant l´amplitude des directorys.

speed max: amplitude maximale de texture speed.
coe: coefficient multiplicateur de texture speed.
échelles des texture speed.

Tous ces paramètres sont lus et sauvés.

READ0

Lit et exeécute le fichier IMA_FLOW0 (ne pas modifier ce fichier).

READ

Lit et exeécute les fichier IMAFLOW et SENSOR, ces ichiers sont lus au lancement du programme, pour lire un autre ichier utiliser l´option par=XXX.

WRITE

Écrit les paramètres dans les fichiers IMAFLOW et SENSOR.

SOUNDS

HEL
READ
PLAY
STOP
ON/OFF

HEL

Aide

READ

Cliquer sur des noms de fichiers wav: les charge.

PLAY

Cliquer sur n: joue wav numéro n.

STOP

Stoppe sounds.

ON/OFF

yes/no sounds.

ILLUM

yes/no illum.

TRANSP

Active/désactive la transparence automatique.

AUTO

automappe.

ROTA

Rotations de l'automappe.

MOVE

Translations de l'automappe.

MAN

Mode manuel: texture interpol directory est fixe et peut être changé par:
       0: retoru au mode automatique.
       1 2 ... 9: directory numéro 1 2 ... 9
ou en mode MINI par:
       i: augmente le numéro;
       k: diminue le numéro;

DEBUG

Mode debug, des messages sont émis.

INI

Régénère les cieux.

EXI

Termine le programme.
































Raccourcis clavier

: cache les menus\n";
; cache la souris\n";
0,1,...,9 directory number dans [0,texture directory NP[
A AUTO.
a succession aléatoire d´images.
z succession linéaire d´images.
e r t y 1,2,3,5 cieux.
u succession périodique d´images.

       coe audio

       key: modifie number.
I INI.
n ROTA
N MOVE

(visible sur le mini menu:
M mini menu (en haut de l´écran):
p augmente la sensibilité du capteur.
m diminue la sensibilité du capteur.
i augmente le numéro du directory.
k diminue le numéro du directory.

Si TRANSP est actif (transparence automatique):
o augmente la transparence.
l diminue la transparence.

r un ciel.
t deux cieux.
y trois cieux.
T comme TRANSP.
K comme MAN.
w x c v b directorys.
q quitte le programme\n";

Options

: cache les menus
- cache la souris
b: number bases bases, 1 ciel, capteur fft.
aut AUTO.
aut=a AUTO, a = différentiel entre auto et no auto (7 par défaut).
b: charge les *.ima des dossiers "part CHC DDM MBG-LCE"
bas=n: nombre de bases
coe=c: Coe2[2]=Coe2[3]=e.
deb: mode debug
def: paramèstres par défaut, après létiquette (case("def") modifier:
       nb=nombre de bases
       ns=nombre de cieus
       file=noms des dossiers contenant des images 3D *.ima
dir=../: dossier des datas (../../ par défaut)
exp=e: Exp[2]=Exp[3]=e.
fft: FFT.
fil=File1 File2 ...: dosiers *.ima.
imanam=dir/name.eee nom des images sauvées, l´option num=im1,ni est obligatoire.
mou: MOUSE.
mou=c: modifie coe mousse.
net réseaux neuronaux.
num=im1,ni premier numéro et nombre des images sauvées par l´option nam.
par lecture du fichier IMA_FLOW.
par=XXX lecture du fichier XXX.
rea: paramèstres par défaut de l´option senrea de lecture du capteur, modifier les paramètres après létiquette (case("rea").
reasav: paramèstres par défaut de l´option senrea de lecture du capteur et des options sav et num, modifier les paramètres après létiquette (case("reasav").
sav: paramèstres par défaut de l´option imanam=dir/name.eee, après létiquette (case("sav") modifier les paramètres.
sha: capteur via la m&eaute;moire partagée A.
sinsav: capteur SIN
sin: capteur SIN et sauvegarde des images.
sky=1,2,3,5: 1, 2, 3, 5 cieux.
tra: active la transparence automatique modifiable dans Coe_Transp.
wav=Wav: directory *.wav
wri: paramèstres par défaut de l´option senwri d´écriture du capteur, modifier les paramètres après létiquette (case("wri").

inp=dir

Lit les fichiers du directory dir supposé contenir les images 3D de base _0.ima _1.ima ... _x.ima
Permet de traiter un nombre indétermiuné de fichiers mais peut provoquer un ralentissement pour de grosses bases de données.

com

com=d1 d2 ...: calcule toutes les images à partir de dossiers di contenant des images 3D.

Options programmées

Les fichiers *.js donnent des exempled d´options programmées.
Les options peuvent être ajoutées dans la fonction option():
imaflow_senwri.js: écrit les valeurs du capteur dans le fichier sensor.mem
imaflow_reasav.js: lit les valeurs du capteur depuis le fichier sensor.mem et sauve les images dans les fichiers ../../A/A[0001,500].bmp
Aller dans ../mount et monter les images.
Aller dans ../ima_song et générer la musique.

Quand le programme est lancé des échelles permettent de modifier interactivement les paramètres puis de les PARAM_WRITE.sauiver































sensor.func

Outils

make_ima

Construit le fichier name2.ima dont les couches sont les images A[num,num+ni-1].zzz/D de dimension d.
Les options sont en tête de la fonction.

redim

La fonction redim_ima.func change les dimensions d´image 3D *.ima