Des chercheurs utilisent FIFA pour convertir en 3D les retransmissions TV

Fifa-14-(2)Quels contenus 3D pour les lunettes de réalité virtuelle et les écrans 3D ? Outre les jeux vidéos, bien peu de contenus sont disponibles pour un affichage en vraie 3D immersive, c’est à dire dans lesquelles l’utilisateur pourra librement choisir son point de vue dans les scènes 3D.

Face à cette question, les chercheurs du MIT et du Qatar Computing Research Institute (QCRI) ont imaginé une technique originale pour retransmettre un match de football en 3D à partir des images de caméras classiques. La solution proposée par les chercheurs est inédite: FIFA 13.

Le moteur 3D de FIFA 13 permet de générer les scènes du match

Convertir un événement filmé en 2D en une scène 3D pose un certain nombre de problèmes techniques et la qualité obtenue est imparfaite. Pour palier les nombreux défauts visuels qui affligent ces scènes converties, les chercheurs qataris et américains proposent une approche radicalement différente. Ceux-ci utilisent le célèbre jeu FIFA 13 d’Electronics Arts pour générer les scènes 3D à partir du flux vidéo du match. Leur logique est imparable. Un tel jeu part de la scène 3D pour générer l’image 2D qui est affichée sur l’écran en fonction de l’angle de vue choisi par le joueur. Pourquoi ne pas faire l’inverse et utiliser le moteur 3D du jeu pour imiter au plus près la scène 2D et ainsi obtenir l’ensemble de la scène en 3D.
Si le principe de base de leur algorithme est simple à énoncer, la réalisation est plus complexe. Utilisant le moteur du jeu, ceux-ci ont généré des dizaines de milliers de phases de jeu qui sont stockée sur un serveur. A chaque vue 2D générée est stockée la scène 3D correspondante. Lors de la diffusion du match, a chaque image l’algorithme cherche dans sa base de donnée l’image 2D la plus proche de celle générée avec FIFA 13 et ainsi obtenir une scène 3D a afficher sur les lunettes de réalité virtuelles ou l’écran 3D du spectateur.

Une image de retransmission de match de foot convertie via l'algorithme du MIT et du QCRI.

Une image de retransmission de match de foot convertie via l’algorithme du MIT et du QCRI.

Avec un serveur relativement puissant (une machine qui dispose de six processeurs Intel Xeon CPU E5-2650 , avec 8 coeurs à 2 GHz, 264 Go de RAM et 86 Go Cache), le traitement d’une image demandait 1/3 de seconde. Plusieurs images peuvent être converties en parallèle mais, pour des raison de buffering, les chercheurs estiment qu’un délai d’une à deux secondes seulement sera nécessaire pour convertir en 3D le flux vidéo en direct.

Le résultat obtenu était exempt de tous les artefacts habituels dans ce type de conversion 2D/3D. Les évaluations réalisées par des spectateurs témoins ont jugé le résultat entre bon et excellent. On imagine que cet algorithme pourrait être exploité pour diverses retransmissions sportives autre que le football telle que le basket, le baseball ou encore la Formule 1, la contrainte étant qu’il faut disposer d’un jeu 3D suffisamment réaliste pour disposer des modélisations 3D correspondantes.

Source : « System automatically converts 2D video to 3D », Science Daily, 4 novembre 2015

 

Commentaires Facebook
Twitter Facebook Plusone Pinterest Linkedin
Ce contenu a été publié dans 3D, avec comme mot(s)-clé(s) . Vous pouvez le mettre en favoris avec ce permalien.