04/03/2022 - Les deux chercheurs ont mené une expérience consistant à faire regarder Netflix à 20 bots tous les jours pendant huit jours, pour en savoir plus sur la mise en avant des travaux européens sur la plateforme

Nous avons interviewé Grégoire Bideau et Steven Tallec, chercheurs à l'EMNS (École des Médias et du Numérique de la Sorbonne), Chaire PcEn, qui ont récemment publié une étude intitulée "Algorithmic Panic: European Contents on the Netflix Homepage", réalisée en faisant regarder Netflix à 20 bots tous les jours sur huit jours pour essayer d’avoir une meilleure compréhension de la visibilité des contenus européens sur la plateforme.

Cineuropa : Qu’est-ce qui vous a amenés à étudier l’algorithme de Netflix ?
Steven Tallec : Ces deux dernières années, nous avons eu l’occasion de parler à un bon nombre d'acteurs importants de l’industrie de l'audiovisuel européenne (responsables de son cadre normatif, producteurs, officiels gouvernementaux et analystes). Pendant nos conversations, la question de l’impact du système de recommandation de Netflix sur la visibilité des travaux européens s’est présentée presque à chaque fois, mais il semblait n’y avoir aucune données fiables à partir desquelles déterminer si cet impact est positif ou négatif, cette seconde option étant la plus fréquente dans les suppositions émises.

Grégoire Bideau : La visibilité est un aspect important de la directive SMA-Services de médias audiovisuels de l’Union européenne, qui énonce que les services "doivent assurer la visibilité des travaux [européens]", et pas seulement réserver 30 % de leur catalogue à ces titres. Même si la notion de "visibilité" n’a jamais été précisément définie, et n'a a fortiori pas fait d’objet d’une régulation, les professionnels sont très conscients de son importance pour la circulation des travaux européens. Cependant, c’est une notion glissante dans un contexte de personnalisation par algorithme, où la visibilité est liée aux habitudes de visionnage passées du spectateur. En tant que tel, il est très difficile d’étudier quantitativement la chose, bien qu'elle médiatise de manière conséquente la relation entre un vaste catalogue de contenu et l'utilisateur final [pour en savoir plus]. C’est pourquoi à la Chaire PcEn, nous avons placé la visibilité des contenus au cœur de notre programme de recherche, il y a de cela deux ans. Nous avons choisi Netflix comme premier sujet pour nos tests du fait de la popularité de cette plateforme et de son célèbre système de recommandations, l'espoir étant que notre étude fasse le jour sur un mécanisme autrement opaque.

Comment avez-vous procédé pour mener cette expérience ?
S.T. : D’abord, nous avons réuni des métadonnées pour chaque titre disponible sur Netflix en France en trouvant la page lui correspondant sur IMDb (pas à la main, mais au moyen d’un programme spécialement conçu à cette fin), ce qui nous a permis de renseigner ses pays de production, sa langue, sa distribution, etc.

G.B. : En parallèle, nous avons mis en place un groupe de 20 petits ordinateurs ((Raspberry Pi), chacun ayant pour tâche de créer son propre profil Netflix sur un compte spécial [en savoir plus]. Ensuite, on a entré dans chaque ordinateur un calendrier des moments où regarder Netflix (en l'espèce, trois heures par jour sur huit jours) et une liste de titres à regarder. Dix ordinateurs ont reçu une liste ne comprenant que des titres européens, et les dix autres ont eu une liste de travaux non-européens. Toutes les listes ont été réalisées dans un ordre arbitraire pour prévenir la présence de tout facteur pouvant fausser la sélection et garantir que les ordinateurs regardaient tous des films différents sur un moment donné. Nous avons recouru à un système de recherche en ligne automatisé pour qu’il n’y ait aucune intervention humaine sur toute la durée de l’expérience. Une fois par jour, nous avons relevé le contenu de la homepage de chaque bot, et notamment le placement exact de chaque titre.

Pouvez-vous détailler les résultats ? Quels constats avez-vous pu faire en termes de circulation des travaux européens ?
G.B. : Contrairement à ce beaucoup craignaient, les travaux européens ne disparaissent pas de la homepage de Netflix, même quand l’utilisateur choisit de ne pas regarder de titres européens. Il y a une légère tendance à la baisse dans le nombre de vignettes thumbnails qui promeuvent les travaux européens, mais en aucun cas au point que les contenus européens pourraient devenir totalement absents de la homepage. Du côté des bots qui ont regardé seulement des contenus européens, le nombre de thumbnails pour des titres européens sur la homepage augmente, mais pas non plus au point de créer une "bulle de filtres" qui ne suggérerait que des titres européens à l'utilisateur. Dans les deux cas, il semble que le niveau d'influence du système de recommandation sur la visibilité des travaux européen a été largement surestimé.

S.T. : Bien sûr, ceci est lié au fait qu'on a utilisé "européen" comme seule variable de différenciation entre nos deux groupes de bots. Les travaux européens ne constituent pas un genre, et ne sont pas non plus perçus comme une catégorie de titres similaires entre eux par tous les utilisateurs de Netflix. À vrai dire, on pourrait même aller jusqu’à affirmer que la diversité des travaux européens garantit en partie leur visibilité sur Netflix, car ils sont susceptibles de faire partie d'un vaste éventail de groupes déterminés selon les goûts des utilisateurs, et sont donc recommandés à des utilisateurs qui ont des goûts très différents.

L’expérience de huit jours est sans nul doute intéressante, mais peut-être qu'une étude sur une durée plus longue permettrait de faire des constats supplémentaires et plus solides. Seriez-vous prêts à prolonger le test et si ce n'est pas le cas, pourquoi pensez-vous que huit jours est une durée adéquate ?
G.B. : Bien sûr, une expérience plus longue serait intéressante, et nous espérons pouvoir mener d’autres expériences qui dureront plus longtemps (au-delà des considérations techniques !). En l'espèce, nous estimions que huit jours, soit juste un peu plus d’une semaine, était une période adéquate par rapport aux travaux européens, parce que toute durée plus longue aurait suggéré des comportements extrêmement inhabituels de la part de nos bots, ce qui aurait pu fausser les résultats.

Qu’est-ce que vous allez faire ensuite ? Seriez-vous intéressés par l’idée de conduire des études similaires sur d’autres plateformes VàD ?
S.T. : D’abord, nous allons continuer de recourir à cette méthode lors d'expériences futures, pour explorer d’autres variables (comme les langues et les genres). Nous allons aussi tâcher de regarder les résultats de plus près, et de produire des analyses plus approfondies sur les mouvements observés sur la homepage. Nous avons déjà lancé un partenariat avec le professeur Seok-Kyeong Hong de l’Université nationale de Séoul, pour comprendre la manière dont le système de recommandation de Netflix promeut les contenus coréens en France. Les résultats seront présentés en conférence à Séoul le 9 avril. Il serait également intéressant de mesurer la visibilité des contenus européens dans les pays de langue anglaise, comme le Royaume-Uni et les États-Unis, mais ça suppose qu'on déplace nos ordinateurs dans un autre pays, pour accéder au catalogue Netflix disponible là-bas, ou d'utiliser un VPN pendant toute l'opération.

G.B. : Bien sûr, c’est techniquement faisable de mener une expérience similaire sur d’autres plateformes de VàD qui utilisent une personnalisation par algorithme. Certains éléments de la méthode auraient besoin d'être adaptés, c'est certain, ce qui requerrait pas mal d’efforts pour automatiser les recherches en ligne et la collecte de données sur ces plateformes, mais le cœur du processus resterait le même. Amazon Prime Video, Disney+ ou même Twitch seraient intéressants observer, par exemple.

(Traduit de l'anglais)