91ÉçÇø

Une équipe de recherche de l’Université 91ÉçÇø a mis au point une nouvelle méthode qui permet d’améliorer considérablement la précision et l’efficacité des grands modèles de langage (GML) pour la génération de codes informatiques et de textes structurés.

Les GML sont de puissants outils d’IA capables de rédiger toutes sortes de textes, qu’il s’agisse d’essais ou de scripts, et ce, dans un large éventail de langues. Cependant, il leur arrive souvent de commettre des erreurs et de générer des résultats non fonctionnels lorsqu’on leur impose des contraintes. En outre, les solutions à ces problèmes sont souvent peu fiables ou trop lentes.

Or, une nouvelle approche a été mise au point par une équipe de recherche dont les membres viennent du MIT, de l’ETH Zürich et de l’Université Yale. Dirigée par Timothy O’Donnell, de l’Université 91ÉçÇø, l’équipe utilise la méthode Monte-Carlo séquentielle afin de coordonner la production de multiples résultats tout en priorisant les meilleurs d’entre eux à chaque étape et ainsi écarter les résultats peu prometteurs dès le début du processus.

L’efficacité des calculs s’en trouve renforcée, ce qui se traduit par un gain de temps et une réduction des erreurs et permet même à de petits modèles d’IA d’être plus performants que des modèles beaucoup plus grands. De plus, le GML peut se concentrer sur les résultats les plus susceptibles d’être valides et précis.

« Pour un linguiste comme moi, cette méthode est particulièrement intéressante parce qu’elle fournit un cadre dans lequel nous pouvons commencer à formuler de véritables théories du sens. Nous allons au-delà des GML pour les mots, vers des modèles symboliques de la signification sous-jacente des mots », explique Timothy O’Donnell, professeur agrégé et chercheur William-Dawson au Département de linguistique de l’Université 91ÉçÇø, et membre académique principal de , où il est titulaire d’une chaire en IA Canada-CIFAR.

Cette percée a des applications potentielles dans les domaines de l’aide à la programmation, de l’analyse de données, de la robotique et de la recherche scientifique. Il s’agit d’une étape importante vers une IA plus intelligible et maîtrisable pour les non-experts.

Les membres du groupe de recherche (le « GenLM Consortium ») ont l’intention de poursuivre leurs travaux et lanceront prochainement le logiciel sous la forme d’une boîte à outils à code source libre.

L’article « Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo »ÌýaÌýétéÌýprésenté à l’International Conference on Learning Representations (ICLR), qui a eu lieu du 24 au 28 avril.

Ìý