IMAGE_MUSIC (Michel BRET 2016)


english
français



















































Some links will not be active if there is no internet connection.

Principle
The menus
Keyboard Shortcuts
Launching options
Example

































Principle

This application follows gravity2.0 (2016) with mouse sensor and the same properties.
a scale on the left of the screen allows modulate the sound.
no gravity.

Bodies are set over a ground, they act according to a gravity field and forces determined by the collision algorithme (impact on the ground).

Each body is associated to a neural network. whose inputs are the angles of its limbs and whose outputs are torques applied to those limbs. Such a network is dynamically trained by the back-propagation algorithm of the error, from a predifened set of learning couples (input,output), the outputs aiming to preserve the balance in a dancing way.

An interactive process provides additional forces from a dynamic analysis of various sensors (such as audio fft).

A feature activated by g key (or click on gravity) satellites a bodie which distance to the hearth is greater than a threshold, press again g key restarts gravity.
Press G key satellites a bodie whose distance to the hearth is greater than a threshold, gravity is automatically restarted if the sound is low during 2 seconds or by pressing g key (or click on no gravity).
This feature is an option value when runing gravity_aud_3.js (audio) or gravity_mou_3.js (mouse).

Option is an automatic process.

A feature activated by
D key made bodies interact (dance).

Mode auto gravity
In interactive mode with audio active and G active, auto gravity (if gravity is active) or no gravity (if gravity is not active: satellisation) and, in mode audio, a little scale allows changing the sensor coefficient in order to quickly adjust the sensitivity of the audio captation. When launching the programme an automatic surch determines the minimum value of the audio (so launche the programme in silence).

Mode gravity +
In gra mode when clicking on + or pressing + key a force is applied to bodies in order to liberate them from the earth gravity puting them on trajectories around the sun and fginaly out the galaxy, they travel from now on others galaxies. In plus mode when clicking on = or pressing = key a force is applied to bodies in order to put them in others universes.

WARNING:
files gravity_aud[1,4].js contain option poi, must prese . key (point) in order to liberate the bodies from the earth attraction.































The menus

MAIN
NETWORK
PARAM
SENSOR

































MAIN

HEL: help
DOC: this file
MODEL
BAL
ACT
AUTO
INI
EFF
MUSIC
EXI


































MODEL
Click on nb: number of bodies, on displ: active bodies.































BAL

Enable / disable an automatic balancing process.

ACT

Launches the whole porcess.

AUTO

Automatic mode, must been activated a sensor.

INI

Resets all bodies.

EFF

Automatic variation of effects (with or without texturing, selfing, ...).

MUSIC

Click on name.js; plays music file namle.eee.
Menus are hidden, click in the frame in order to hide the player, press ENTER key then ; key for a mini control (adjust the amplitude of the signal with keys ( and )).

EXI

Exit.































Parameters menu

HEL: help
CHANGE
OUT
READ
WRITE

CHANGE

HEL: help
INI: reset
SCALES: displays scales allowing to change parameters:
       gravity
       reb: rebound
       fric: friction
       force: force of collision
       coe: transmission
       visc: viscosity
       force add: vertical force
       coe gravity: gravity coefficient
       ni: trajectory duration
       period: display rate
       limit: limit for take off
       aim: size of the aim buffer
       self: amplitude of the auto mapping
       agitate: default agitation
       plus: coefficient when in plus mode
       gravity
       testure size
       wind: window of the auto mapping
       ang: angle
       balance,visc: balance coefficient

SKIN: switches body/skin mode
ILLUM: yes/no illum
EXT: switches body/skin mode
ROTY: yes/no roty of ground and sky
PART: yes/no particle
INI: reset
READ
reads parameters from file PARAM
WRITE
writes current parameters in file PARAM

OUT

HEL: help
RING
WAV
RECORD
SYNTH
PLAY
TEST
































Keyboard Shortcuts



: (colon) hides menus.
a: automatic aim.
A: automatic balance of audio amplitude (keep silence during the process)..
b: restarting with Option (begin).
C: automatic change of the skin colors.
D: danse (interaction between bodies).
E automatic process.
d activates the distance test.
e displays neural network errors.
G automatic satellite.
g yes/no gravity.
G yes/no mode auto gravity.
h help.
i resets bodies.
I resets parameters.
j joystick.
l yes/no spot light.
M yes/no displ mouse.
m mini menu.
o yes/no ext illum texture skin.
p sky pulsation.
q exit.
r ground and sky rotation.
S yes/no see.
s self texturing.
T yes/no transparency.
t yes/no texture. a name="shortcut_(">
( Sensor_Coe-=.1. a name="shortcut_)">
( Sensor_Coe+=.1. a name="shortcut_+">
+ out of earth gravity.
- back to earth if sound low.
= out of this universe.
* dilatation variations.
; hide sensor coe scale.
, hide mini control.
. maintain bodies on earth. a name="shortcut_$">
$ displaying informations:
       forces: gravity (red), music (green), gravity + music (yellow)
       speed rota vol body (yellow circles)































Launching options

adj: automatic balance of audio amplitude (keep silence during the process), also avaible in interaction by pressing A key.
aud=n: audio sensor with n bodies.
bal: balance.
bod=n: n bodies.
cau=c: multiplier coefficient of audio signal.
cmo=c: multiplier coefficient of mouse signal.
col: shortcut C changing the skin colors.
dan: interaction between bodies (dance).
del=ns: waits ns seconds before calling audio ini (allows chaining several programmes).
dis: shortcut d controlling the distances between the bodies.
eff=n: shortcut E with tempo n (500 default).
err: shortcut e displaying the error curves of the neuralk networks.
: short : hidding the menus.
exi: exit after write audio.
gra: mode auto gravity
joy: mouse as a joystick, see file gravity_aud_joy_*.js.
       move the mouse (down up): increases the sensor value.
       an arrow (green at the bottom, red at the top) through gravity (green).
       with option sou DirectX buffers are available in 2 dimensions (y: subfolders of main forlde sounds, x: files in thoses folders). satellite (yellow) and infini (red).
les: like shortcut -.
lig: shortcut l switching from standard light to spot light.
min=n: low amplitude filter.
max=n: high amplitude filter.
mod: MODEL function.
mou=n: sensor mouse with n bodies.
net: NETWORK function.
num=n: first of saved image.
off: shortcut o
poi=n: maintain bodies on earth.
pro=n: for chaining dynasensa_aud_n.js with option tim=t.
rin:
RING function.
rot: ROTY function.
sec=t: the programme is killed after t seconds, then launched again (anticipating eventual memories lost).
sel: shortcut s producing the automapping.
sim=tmp.mem: simulation.
sou: sounds, with option mou and option joy simulation of a joystick with y mouse, the sounds are associated to the joystick, they are played in subfolders of folder sounds. If, after 10 seconds, the mouse has not been moved, the sounds gradually decrease.
sta: dilatation variations.
syn=tmp.mem: image simulation and synthetic music.
sto=name.stock: sensor values in file name.stock (build with Store.func tool.
tex: shortcut t yes/no texture.
tex: shortcut t yes/no texture.
tim=t: the programme is killed after t frames, then launched again.
tra: shortcut T enables transparency.
wav: WAV function.
wra=name.wav: write audio.
wri=name.eee: write images.

Examples

"aud=3;foc" launches the programme with:
       audio sensor
       3 bodies
       automatic focal

"syn=tmp.mem;bod=3;foc;hai=3;wra=tmp.wav;wri=start/A.jpg;" launches the programme with:
       image simulation and synthetic music from file tmp.mem
       3 bodies
       automatic focal
       hairs coefficient 3
       writes audio tmp.wav
       writes images start/A0001.jpg start/A0002.jpg ...
tmp.mem has been written by Sensor programme.































Example

Click on gravity_aud_4.js: 4 bodies with audio.
Press : key (colon): menus appear.
Click on MUSIC: files *.js are dsplayed, click on one of them.
Use
( and
): decrease and incresse the audio sensibility.
When the bodies are satellised press + key: out of the earth influence, travle through the galaxy stars and finaly out of our galaxy through the universe.

































Certains liens ne seront pas actifs s´il n´y a pas de connexion internet.

Principe
Les menus
Raccourcis clavier
Options de lancement
Exemple

































Principe

Cette application fait suite à gravity2.0 (2016) avec la souris comme capteur et les mêmes propriétés.
Une échelle située sur la gauche de l´ écran permet de moduler le son.
no gravity.

Les corps sont posés sur le sol et agissent selon un champ de gravité et des forces déterminées par un algorithme de collision (impact sur le sol).

Chaque corps est associé à un réseau neuronal dont les entrées sont les angles de ses membres et dont les sorties sont les couples appliqués à ces membres. un tel réseu est dynamiquement entrainé par l´algoriteme de la rétropropagation de l´erreur à partir d´un ensemble prédéfini de couples d´apprentissage (input,output), les sorties tendant à préserver l´équilibre dans une optique de danse.

Un processus interactif fournit des forces additionnelles à partir d´une analyse dynamique de capteurs variés (comme audio fft).

Une possibilitée activée en enfonçant la touche g (ou en cliquant sur gravity) satellise un corps dont la distance à la terre est plus grande qu´un seuil, enfoncer de nouveau la touche g rétablit la gravité.
Enfoncer la touche G satellise un corps dont la distance à la terre est plus grande qu´un seuil, la gravité est automatiquement rétablie si le son est bas durant 2 secondes ou en pressant la toucheg (ou en cliquant sur no gravity).
Cette possibilité est une option quand on lance gravity_aud_3.js (audio) ou gravity_mou_3.js (mouse).

Option est un processus automatique.

Une possibilité activée par
D rend les corps interactifs (danse).

Mode auto gravité
En mode interaction avec l´audio actif et G actif, auto gravity (si la gravité est active) ou no gravity (si la gravité n´est pas active: satellisation) et, en mode audio, une petite échelle permet de changer le coefficient du capteur afin d´ajuster rapidement la sensibilité du capteur. En lançant le programme une recherche automatique détermine le minimum du capteur (lancer le programmme en silence).

Mode gravité +
En gra mode quand on clique sur + ou en pressant la touche + une force est appliquée aux corps afin de les libérer de l´attraction terrestre et de les placer sur des trajectoires autour du soleil sun et finalement hors de la galaxie, ils voyagent maintenant dans d´autres galaxies. En mode plusquand on clique sur = ou en pressant la touche = une force est appliquée aux corps afin de les mettre dans d´autres univers.

ATTENTION:
les fichiers gravity_aud[1,4].js contiennent l´option poi, il faut enfoncer la touche . (point) afin de libérer les corps de l´attraction terrestre.































The menus

MAIN
NETWORK
PARAM
SENSOR

































MAIN

HEL: help
DOC: this file
MODEL
BAL
ACT
AUTO
INI
EFF
MUSIC
EXI


































MODEL
Cliquer sur nb: nombre de corps, sur displ: corps actifs.































BAL

Active / désactive un processus automatique d´équilibre.

ACT

Lance le processus dans son entier.

AUTO

Mode automatique, il faut activer un capteur.

INI

Initialise tous les corps.

EFF

Variation automatique des effets (avec ou sans textes, automappe, ...).

MUSIC

Cliquer sur name.js; joue le fichier audio namle.eee.
Les menus sont cachés, cliquer dans le cadre afin de cacher le player, presser la touche ENTER puis ; pour un mini contrôle (ajuste l´amplitude du signal avec la touche ( et )).

EXI

Exit.































Parameters menu

HEL: help
CHANGE
OUT
READ
WRITE

CHANGE

HEL: help
INI: reset
SCALES: affiche les échelles permettant de modifier las paramètres:
       gravité
       reb: rebound
       fric: friction
       force: force de collision
       coe: transmission
       visc: viscosité
       force add: force verticale
       coe gravity: coefficient de gravité
       ni: duré des trajectoires
       period: vitesse d´affichage
       limit: limite pour take off
       aim: taille du buffer du point de visée
       self: amplitude de l´auto mapping
       agitate: agitation par défaut
       plus: coefficient en mode plus
       gravité
       taille des textures
       wind: fenêtre de l´auto mapping
       ang: angle
       balance,visc: coefficient d´équilibre

SKIN: switches body/skin mode
ILLUM: yes/no illum
EXT: switches body/skin mode
ROTY: yes/no roty of ground and sky
PART: yes/no particle
INI: reset
READ
lit les paramètres depuis le fichier PARAM
WRITE
écrit les paramètres courants dans le fichier PARAM

OUT

HEL: help
RING
WAV
RECORD
SYNTH
PLAY
TEST
































Keyboard Shortcuts



: (colon) cache les menus.
a: visée automatique.
A: équilibre automatique de l´amplitude audio (nécessite le silence).
b: relance avce les options (début).
C: changemant automatique des couleuts des corps.
D: danse (interaction entre les corps).
E processus automatique.
d activele test de distance.
e affiche les erreurs des réseaux.
G satellisation automatique.
g yes/no gravity.
G yes/no mode auto gravity.
h help.
i initialise les corps.
I initialise les paramètres.
j joystick.
l yes/no spot light.
M yes/no displ mouse.
m mini menu.
o yes/no ext illum texture skin.
p pulsation du ciel.
q exit.
r rotation du sol et du ciel.
S yes/no see.
s self texturing.
T yes/no transparency.
t yes/no texture. a name="shortcut_(">
( Sensor_Coe-=.1. a name="shortcut_)">
( Sensor_Coe+=.1. a name="shortcut_+">
+ hors de la gravitation.
- retouir au sol si le son est bas.
= hors de cet univers.
* variation des dilatations.
; cache sensor coe scale.
, cache mini control.
. maintient les corps sur la terre. a name="shortcut_$">
$ affiche des informations:
       forces: gravity (red), music (green), gravity + music (yellow)
       speed rota vol body (yellow circles)































Launching options

adj: équilibreautomatique de l´amplitude de l&acuta;audio (garder le silence), aussi accessible en mode interaction en pressant la touche A.
aud=n: audio sensor avec n corps.
bal: balance.
bod=n: n corps.
cau=c: coefficient du signal audio.
cmo=c: coefficient du signal de la souris.
col: shortcut C change les couleurs des peaux.
dan: interaction entre les corps (danse).
del=ns: waits ns secondes avant d´ppeler audio ini (permet de chainer plusieurs programmes).
dis: shortcut d contrôle les distances entre les corps.
eff=n: shortcut E avec tempo n (500 default).
err: shortcut e affiche les courbes d´erreurs des réseaux neuronaux.
: short : cache les menus.
exi: exit après write audio.
gra: mode auto gravity
joy: la souris comme un joystick, voir fichiers gravity_aud_joy_*.js.
       déplacer la souris (bas haut): incrémente les valeurs du capteur.
       une flèche (verte en bas, rouge en haut) en passant par gravity (vert).
       avec l´option sou les buffers de DirectX sont accessibles en 2 dimensions (y: subfolders of main folder sounds, x: fichiers dans ce dossier). satellite (jaune) et infini (rouge).
les: like shortcut -.
lig: shortcut l passe des lumiès;es ordinaires aux to spots.
min=n: filtre basses amplitudes.
max=n: filtre hautes amplitudes.
mod: MODEL fonction.
mou=n: sensor mouse avec n corps.
net: NETWORK fonction.
num=n: première image sauvée.
off: shortcut o
poi=n: maintient les corps sur terre.
pro=n: pour chainer dynasensa_aud_n.js avec l´option tim=t.
rin:
RING fonction.
rot: ROTY fonction.
sec=t: le programme est tué après t secondes, puis relancé (anticipant d´eventuals overflow).
sel: shortcut s produit automapping.
sim=tmp.mem: simulation.
sou: sounds, avec l´option mou et joy simulation d´un joystick avec le y de la souris, les sons sont associés au joystick, ils sont joués dans les sous dossiers du dossier sounds. Si, après 10 secondes, la souris n´ pas bougée, le son décroit graduellement.
sta: variation des dilatations.
syn=tmp.mem: simulation d´image et musique de synthèse.
sto=name.stock: les valeurs du capteur sont sauvées dans le fichier name.stock (construit avec l´outil Store.func.
tex: shortcut t yes/no texture.
tim=t: le programme est tué après timages, puis relancé.
tra: shortcut T active les transparences.
wav: WAV fonction.
wra=name.wav: écrit l´audio.
wri=name.eee: écrit les images.

Exemples

"aud=3;foc" launches the program with:
       capteur audio
       3 corps
       focale automatique

"syn=tmp.mem;bod=3;foc;hai=3;wra=tmp.wav;wri=start/A.jpg;" lance le programme avec:
       simulation d´images et synthèse de son depuis le fichier file tmp.mem
       3 corps
       focale automatique
       coefficient des cheveux: 3
       écrit l´audio dans tmp.wav
       écrit les images start/A0001.jpg start/A0002.jpg ...
tmp.mem a &eactue;té écrit par le programme Sensor.































Exemple

Cliquer sur gravity_aud_4.js: 4 corps avec audio.
Enfoncer la touche : (colon): les menus apparaissent.
Cliquer sur MUSIC: les fichiers *.js sont affichés, cliquer sur un nom puis.
utiliser
( et
): décrémente ei incrémente la sensibilité de l´audio.
Quand les corps sont satellisés enfoncer la touche +: sortie de l´attraction terrestre, voyage à travers de la galaxie et finalement hors de celle-ci dans l´univers.