29/06/2020 - CANNES NEXT : LMDP Co développe le premier film d’horreur avec biofeedback, pour adapter l’expérience émotionnelle qu’il procure en temps réel, à partir des signaux cérébraux du spectateur

La dernière table ronde de Cannes NEXT, "Cinéma adaptatif : créer et diffuser des histoires à l'ère du spectateur roi", a complètement rempli l'objectif de cette section du Marché du Film Online, puisque le cinéma adaptatif se situe précisément entre créativité et technologie. Le studio de filmtech québécois LMDP Co développe actuellement VFC, écrit et réalisé par Charles R. Roy, qui est le premier film d'horreur dont l'histoire s'adapte aux rétroactions biologiques de l'utilisateur, et sortira d'ici 2021-2022.

Charles R. Roy, également réalisateur et producteur chez LMDP Co et à La maison de prod (Ravenous), a ouvert la présentation et a introduit l'idée de cinéma adaptatif à travers des biomécanismes. Il a expliqué qu'il avait été inspiré par les films où la musique joue un rôle prédominant, montré un extrait de VFC et évoqué l'évolution de l'ère du divertissement centré sur l'utilisateur. Il a commencé par les activités linéaires et passives (cinéma et radio), puis par les expériences interactives (multimédias basés sur l'action), et enfin par un regard sur l’avenir des expériences adaptatives qui évoluent en temps réel et qui sont appliquées à travers la biotechnologie et l'intelligence artificielle.

Il a également utilisé quelques exemples pour montrer à quel point le degré d'interaction dans les jeux a évolué depuis les jeux vidéo des années 1970 jusqu'à la bande-son adaptative sophistiquée de Red Dead Redemption 2 et le travail en VR de Way to Go de Vincent Morisset. Par ailleurs, la neuro-musique, qui a été créée dans les années 1960 par le pionnier Alvin Lucier, a évolué grâce aux neurosciences computationnelles : Sensorband a utilisé des capteurs portatifs biotechnologiques dans les années 1990, et Heart Chamber Orchestra utilise des battements de cœur en temps réel pour la musique et les éléments visuels lors des performances en direct. Le cinéma neuronal est un concept assez récent, exemplifié notamment par Obsession de Pia Tikka, une installation pour cinq spectateurs assis sur des fauteuils, comportant quatre écrans qui adaptent l'histoire en fonction du rythme cardiaque du spectateur, ainsi que The Moment de Richard Ramchrun, qui peut être regardé par huit personnes mais suit les signaux cérébraux d'une seule d'entre elles, qui contrôle le montage et l'intrigue.

L'idée derrière VFC est d’étendre l'échelle de ces expériences limitées et expérimentales à un public plus large. En l'espèce, le biofeedback a un effet sur le son, qui est dynamique, tout en maintenant une projection linéaire. Grâce à des logiciels audios bio-adaptatifs, le son change en fonction de l'activité cérébrale et des expressions faciales, le film pouvant basculer entre trois flux audios à différentes étapes. Tout est relié au son, ainsi la production devait être adaptée à cette technologie dès le début du projet, puisque le scénario, le tournage et la post-production devaient être synchronisés.

Du côté technologique, Felipe Almeida, chercheur confirmé en expérience utilisateur et en biofeedback chez Immersion, a expliqué que ces technologies adaptatives ne sont en réalité pas si récentes, et qu’elles sont utilisées dans le champ des neurosciences pour mesurer et analyser nos réactions à des fins de collecte de données. La partie innovante est l'utilisation effective des données que le biocapteur collecte en temps réel, permettant une expérience qui est activement adaptée à ce qui se passe. Toutefois, les machines ne peuvent toujours pas lire les émotions humaines sans d'autres données contextuelles ou psychologiques, comprenant les signaux cérébraux et les expressions émotionnelles.

Almeida a également analysé le récit adaptatif. En partant du contexte de l'histoire, le spectateur devrait être en mesure à la fois de comprendre et ressentir le degré d'abstraction de l'intrigue afin de constituer sa propre interprétation et d'étudier le niveau d'interactivité et de conscience qui le guiderait vers le message de l'histoire. Les changements dans l'intrigue peuvent s'effectuer soit de manière passive, en laissant les émotions conduire la personne au résultat, soit de façon active, où le spectateur manipule intentionnellement ses pensées et ses émotions, et, par conséquent, l'histoire. Le message final et l'interprétation sont également connectés à travers un échange social à l'issue de l'expérience, qui permet aux spectateurs de partager leurs émotions ou d'essayer de comprendre celles des autres. Lorsque l'intrigue est linéaire, elle peut être plus facile à comprendre, alors que dans le cas d'histoires plus abstraites et oniriques, les interprétations et les résultats sont bien plus libres.

Deux tests de projection de VFC ont déjà été effectués, et pour le dernier en date, effectué cette année, une paire d'écouteurs avec des biocapteurs d’électroencéphalographie intégrés permettant l’entrée et la sortie de données ainsi qu'une caméra infrarouge servant à suivre les micro-expressions ont été utilisés, pour capter les émotions de chaque spectateur. L'entreprise a analysé les données individuelles et d'ensemble collectées pour créer différents bio-profils. Dans leurs retours, certains spectateurs ont dit avoir des expériences proches du rêve, alors que d'autres ont ressenti les battements de cœur du personnage comme s'il s'agissait des leurs. Pour la version complète de VFC, deux flux audios seront utilisés : un dans un casque et l'autre au cinéma, pendant que l'application collectera les données et créera des bio-profils.

Stephanie Demers, directrice générale de Fragments Distributions, a mis l'accent sur la proposition de valeur pour les spectateurs, distributeurs et exploitants. Elle a expliqué que l'apprentissage individuel et social sur l'application peut altérer les relations interpersonnelles et augmenter la conscience de soi, surtout si les utilisateurs discutent pour comparer leurs résultats. De plus, les données collectées sont utiles pour la distribution : davantage de tests de projections avaient été prévus, pour cette raison, mais ils ont dû être annulés suite à la pandémie de coronavirus. Au niveau du public potentiel, le projet pourrait toucher de nouveaux spectateurs : les gens qui sont intéressés par les nouvelles technologies. Des projections ou expositions hybrides pourraient également être organisées sous forme d'événements spéciaux dans les cinémas, moyennant, bien sûr, un tarif plus élevé.

La présentation s'est terminée avec Roy, qui a nommé les partenaires déjà présents, notamment le Fonds des médias du Canada et la SODEC, ainsi que d'autres. Il s’est aussi penché sur les éventuelles applications de contenus adaptatifs, par exemple dans les champs du documentaire et de l'animation, sur les plateformes de VàD, pour les contenus promotionnels et numériques, les tutoriels et les interfaces cerveau-ordinateur (autant portables que sous forme d’implants).

(Traduit de l'anglais par Chloé Matz)