« Ce qu’il y a de plus étonnant avec le vidéo mapping, c’est qu’il permet à l’imagination de réaliser tous les possibles »

 

L’équipe a été récemment très impressionnée par le travail de Jesse James Allen, un artiste multimédia à l’imagination débordante, qui combine HeavyM avec d’autres logiciels pour créer des projets interactifs extraordinaires. Nous avons eu une conversation passionnante avec Jesse, qui se définit comme un homme de la Renaissance car il a toujours été curieux, multidisciplinaire et fasciné par Léonard de Vinci.

 

Jesse James Allen – Portrait devant sa dernière oeuvre

 

Jesse a débuté sa carrière en tant qu’ingénieur du son dans l’industrie du divertissement au début des années 90, à l’aube de l’ère numérique. Il est progressivement devenu créateur de médias pour les parcs d’attractions et a appris à maîtriser de nombreux outils, autant d’instruments qu’il considère comme des pièces d’un puzzle essentielles pour offrir des expériences émotionnelles en racontant les histoires. Il a participé à la conception de 53 jeux vidéo et cette activité a vraiment façonné sa carrière en tant que créatif. L’influence du jeu vidéo se ressent d’ailleurs dans certains de ses projets vidéo mapping où il utilise parfois des manettes de console pour controler la projection :

 

Utilisation d’une manette de PS4 pour agir sur la projection

 

 

Vers l’interactivité avec HeavyM

Jesse a commencé à s’interroger sur les logiciels de vidéo mapping et en parcourant projection-mapping.org, il a essayé les différents programmes énumérés et a choisi HeavyM pour «la puissance du logiciel et son côté intuitif»Grâce à son expertise dans la programmation sonore et à ses nouvelles compétences dans la création visuelle avec HeavyM, il peut laisser libre cours à son imagination et proposer des expériences vraiment nouvelles !

Jesse consacre beaucoup de temps à expérimenter le logiciel pour ses projets personnels, motivé par l’idée de développer pour tous l’accessibilité au monde virtuel à partir d’objets physiques. Il apprécie particulièrement la capacité de HeavyM Live à accepter les protocoles MIDI, l’OSC et Spout&Syphon, grâce auxquels il crée des applications 100% interactives, avec l’ajout de capteurs.

Dans cet exemple, Jesse a créé des particules avec le moteur graphique Unity. Les mouvements de sa main sont trackés grâce à un capteur leap motion et permettent de controler les particules. Tout ceci est envoyé à HeavyM Live via Spout. 

 

Voir la vidéo complète ici.

 

« Je fais de la recherche et développement avec HeavyM depuis environ un an et j’ai l’impression que je ne suis qu’à la surface, à effleurer tout un univers de possibles ».

 

Jesse voit un potentiel énorme pour HeavyM dans les expériences interactives et les expositions artistiques, pour raconter des histoires plus captivantes et plus sensationnelles. Il travaille notamment avec des peintres et des illustrateurs car introduire le monde physique tactile dans l’équation rend l’effet encore plus vivant, plus organique. Selon Jesse : « Le mélange de l’art traditionnel et du numérique créé une sorte de magie particulière ».

Sa collaboration avec Charlie Jicha a abouti à un tableau peint avec de l’encre conductive. Cette encre est reliée à une carte électronique (Touch Board) qui permet par exemple de convertir les informations en MIDI pour HeavyM. Le séquenceur de HeavyM étant contrôlable en MIDI, Jesse a lié certaines parties de la peinture à des séquences en particulier. Le résultat est bluffant

Mapping interactif avec de l’encre conductive, Jesse James Allen & Charlie Chicha

 

 

Quand les prototypes deviennent des oeuvres d’art publiques

Sur la base de cette expérience, Jesse James Allen a imaginé et construit l’Ange Séraphin, une sculpture de 2,5 mètres qui a été présentée le 19 octobre 2017 à Immerse, un festival artistique immense organisé à Orlando par Creative City Project.

Le Séraphin associe vidéo mapping, capture de mouvements et création sonore pour une expérience interactive puissante. Il s’agit du plus grand projet que Jesse ait réalisé à ce jour avec HeavyM, offrant à tous les spectateurs la possibilité d’entrer en interaction avec l’installation grâce à leurs corps et à leurs voix. Jesse a exploité toute la puissance de HeavyM Live dans ce projet.

Tout d’abord, la majorité des visuels projetés sont des shaders ISF (nouveautés incluses dans HeavyM 1.10). De plus, le visiteur peut ainsi agir sur la projection grâce à la reconnaissance de mouvement via leap motion, à l’interaction par le touché avec l’encre conductive. Enfin, le module d’analyse sonore de HeavyM a été utilisé pour  prendre en compte le son de sa voix des visiteurs via un microphone. 

Teaser du « Séraphin »  au festival Immerse.

 

Jesse est membre de Falcon’s Creative Group qui rassemble des artistes primés, des ingénieurs, des architectes, des écrivains et des réalisateurs. Cette société est dédiée à la conception et la réalisation d’expériences immersives dans le monde entier, pour les stations balnéaires, les parcs d’attractions et les centres culturels.

Avec l’illustrateur Bruce Sereta, Jesse a souhaité augmenter la composition d’une peinture murale. Pour donner l’illusion de l’augmentation du graphisme de Bruce, Jesse a utilisé chaque effet disponible dans le logiciel HeavyM et il a dû faire preuve d’une grande créativité pour la disposition et les fonctions de chaque layer: « Une sorte de baptême du feu mais c’est comme ça que l’on teste vraiment ce qu’un programme peut faire ! »

« La sirène », projet uniquement avec HeavyM, par Jesse James Allen and Bruce Sereta

 

 

Avec l’artiste Chaya, Jesse a été encore plus loin dans la réalité augmentée en combinant HeavyM Live avec SMode et Electrifly AR. Une expérience XR vraiment impressionnante, à l’occasion de l’ouverture d’Orlando Game Space Game.

« Visions virtuelles », fresque murale par Chaya et vidéo mapping par Jesse James Allen avec HeavyM Live, SMode et Electrifly AR

 

Prochains projets, idées et travaux en cours

  • La poursuite d’expériences interactives comprenant le mapping de surfaces et de matériaux en mouvement,
  • De nouvelles collaborations,
  • Des possibilités de travailler avec des artistes de la scène.

« Je suis très heureux de travailler avec des outils comme HeavyM. Merci de les avoir créés ! »

 

Merci Jesse James Allen pour ton travail époustouflant avec HeavyM !

Inspire-toi et suis Jesse James Allen sur Vimeo.

 

Jesse James utilise toute la puissance de HeavyM Live notamment la connectivité MIDI, OSC et l’écange de flux vidéo par Spout&Syphon

Découvre HeavyM Live