Des étudiants de l’Université de technologie de Varsovie utilisent l’intelligence artificielle pour convertir automatiquement des vidéos en bandes dessinées

Les auteurs du projet sont des étudiants de la faculté d’électronique et des technologies de l’information de l’Université de technologie de Varsovie : Maciej Pęśko, Adam Svystun et Paweł Andruszkiewicz. Les professeurs encadrant le projet travaillent eux au département d’infographie de l’Institut d’informatique : prof. dr. hab. Przemysław Rokita et dr. Tomasz Trzciński.

Les étudiants à l’origine de Comixify ont toujours eu un fort intérêt pour les bandes dessinées et le transfert de styles en utilisant l’apprentissage automatique. Ils se sont également appuyés sur des publications antérieures de leur département notamment celles concernant la prédiction de la popularité du contenu sur Internet.

Comment fonctionne Comixify ?

Comixify sélectionne automatiquement les images les plus intéressantes et les plus importantes d’une vidéo donnée, puis les organise, les ajuste et les convertit dans un style graphique.

Le processus de conversion de la vidéo en bandes dessinées est divisé en deux étapes :

• Extraction des images les plus représentatives de la vidéo : pour cela les chercheurs s’appuient sur un algorithme basé sur l’apprentissage par renforcement (« Reinforcement learning »), dont la tâche est de résumer intelligemment la vidéo. Grâce à un module supplémentaire qui sonde la qualité et la popularité des images, Comixify, sélectionne non seulement les images les plus représentatives du film mais également celles avec la meilleure esthétique et à fort potentiel de popularité.

• Transfert de style des images en bande dessinée : pour cela les chercheurs ont mis en œuvre un algorithme de type neuronal basé sur les réseaux antagonistes génératifs (Generative Adversarial Networks - GANs).

Qu’est-ce que les réseaux antagonistes génératifs ou GANs ?

Datant de 2014 et inspirée de la théorie des jeux, cette méthode entraîne conjointement deux réseaux antagonistes. L’un des réseaux cherche à générer de la manière la plus crédible possible des données pour qu’elles ressemblent aux données d’entraînement, l’autre cherche à détecter le plus précisément possible si les données qu’on lui présente ont été générées ou sont tirées des données d’entraînement. Le premier réseau va donc devoir tromper le deuxième : ils sont en opposition.

Dans le cas de Coximify l’algorithme reçoit des images, que le générateur utilise pour en créer de nouvelles. Le discriminateur vérifie si l’instance provient d’un ensemble de vraies images (« true ») ou d‘images générées par le réseau générateur (« false »). Le processus se poursuit jusqu’à ce que le générateur crée des instances si similaires à l’ensemble de formation que le discriminateur ne sera pas en mesure de faire la différence.

Sur le site Web Comixify, vous pouvez visionner des bandes dessinées générées à partir de fragments de films tels que "Pulp fiction", "Star Wars : Episode I - La menace fantôme". L’outil développé par l’équipe de l’Université de technologie de Varsovie peut être testé gratuitement en téléchargeant ses propres fichiers (jusqu’à 50 Mo) ou en utilisant des liens YouTube.

Engouement mondial

La publication scientifique décrivant cet algorithme a suscité un vif intérêt dans le monde entier. Les créateurs ont reçu de nombreuses demandes de producteurs de films et d’éditeurs de bandes dessinées d’Europe et des États-Unis intéressés par cette solution. Ils recherchent actuellement des opportunités de financement pour le projet et sa commercialisation.

Les auteurs de Comixify ont l’intention d’améliorer leur projet avec de nouvelles fonctionnalités, notamment la reconnaissance vocale et la génération de bulles de parole, c’est-à-dire d’ajouter automatiquement du texte à des images.

En savoir plus :

• Le site officiel de Comixify
• Comprendre les GANs en vidéo :
• La description de l’algorithme derrière Comixify : Comixify : transform video into a comics

Rédacteur :
Thibaud DUBRULE, Chargé de Mission Scientifique à l’Ambassade de France en Pologne, thibaud.dubrule[at]diplomatie.gouv.fr