Facebook fait lire des livres à son algorithme de Deep Learning

LibraryDès les années 80/90 les chercheurs en intelligence artificielles se sont intéressés à la compréhension du langage naturel par les machines. Des recherches qui ont engendré des représentations sémantiques très élaborées mais dont les résultats, notamment dans le cadre de la traduction automatique, sont loin d’être parfaits. Face à ce problème particulièrement complexe, les géants du Web misent sur une autre approche, le Deep Learning. Plutôt que d’essayer de créer des algorithmes cherchant à comprendre toutes les subtilités des langages humains, avec le Deep Learning, les machines comprennent d’elles mêmes le langage en lisant des livres.

Quand le Deep Learning apprend à lire

Dans un post sur Facebook, Mark Zuckerberg posait la question sur la façon dont on pouvait apprendre à une IA à lire « Alice au pays des merveilles ». Dans son intervention, il introduit les travaux des chercheurs de Facebook AI Research. Ceux-ci ont fait « lire » des ouvrages à un algorithme de Deep Learning afin de le préparer à un test fréquemment utilisé dans les écoles primaires, le mot manquant dans un texte. Celui-ci permet de vérifier qu’un enfant à bien compris le texte qui lui est soumis en en levant un mot qui peut être un verbe, un nom commun, un nom propre. Charge à lui, en fonction du contexte et du sens, de retrouver les mots manquants.

Facebook-Goldilocks-Principle

L’algorithme de Deep Learning de Facebook confronté au « The Children’s Book Test »

Pour préparer leur algorithme au « The Children’s Book Test », les chercheurs ont fait lire 98 livres à leur algorithme, puis confronté celui-ci à divers textes. S’il est aisé pour l’algorithme de retrouver les adverbes et des verbes, c’est beaucoup plus complexe pour les nom commun et les noms propres. Les chercheurs ont constaté que la qualité des prédictions variait en fonction du nombre de mots du texte soumis; Ils ont théorisé ce phénomène du « Goldilocks Principle« . Pour délivrer la bonne réponse, il faut ni trop ni trop peu de texte pour l’algorithme trouve la bonne réponse.

Peut-être qu’un jour cet algorithme de Deep Learning trouvera sa place sur  M, l’IA assistance numérique qui pourra être embarquée dans les version futures de Messenger.

Sources :

« Can we teach AI to read Alice in Wonderland? », Billet de Mark Zuckerberg sur Facebook, 18 février 2016

« The Goldilocks Principle: Reading Children’s Books with Explicit Memory Representations », Cornell University Library, 7 novembre 2015

Commentaires Facebook
Twitter Facebook Plusone Pinterest Linkedin
Ce contenu a été publié dans Intelligence artificielle, avec comme mot(s)-clé(s) , . Vous pouvez le mettre en favoris avec ce permalien.