Intervention à venir de Marc Ghallab (16 Nov)

Sommaire de l’intervention : GPT et les modèles d’IA GPT et les grands modèles du langage en IA :  principes et défis

A ses débuts, la science en IA fut en avance sur la technique. Il fut possible de prévoir à l’avance la réalisation de jalons importants, par exemple la victoire de DeepBlue sur Kasparov aux échecs. Aujourd’hui, la technique en IA est en avance sur la science. Les scientifiques sont surpris par les capacités des techniques récentes, dont celles des grands modèles du langage (LLM) et de l’IA générative. On comprend bien les principes d’induction statistique mis en oeuvre, mais on ne comprend pas pourquoi ça marche pour d’autres tâches que celles prévues. On observe une discontinuité des performances (une transition de phase) sur certaines tâches cognitives en fonction de la taille des réseaux. On n’explique pas ce qui la produit. On a des modèles du langage “boites noires”, mais pas de modèle scientifique intelligible de ces boites.

Le but de cette communication est de présenter les principes mis en oeuvre par les LLM pour pouvoir débattre des questions scientifiques et éthiques soulevés. On développera en particulier les principaux points suivants:

• les hypothèses de base de l’apprentissage statistique,
• l’entropie du langage naturel,
• la projection sémantique des mots,
• les réseaux de neurones artificielles, les transformers et les mécanismes d’attention,
• les performances et limitations actuelles des LLM

On terminera par les questions ouvertes et défis éthiques que soulèvent les LLM.