Les conséquences de l’engouement pour l’IA générative

Les grandes entreprises technologiques et les investisseurs en capital-risque sont en pleine ruée vers l’or et investissent des sommes astronomiques dans les grands laboratoires d’IA qui créent des modèles génératifs. La semaine dernière, Amazon a annoncé un investissement de 4 milliards de dollars dans le laboratoire d’intelligence artificielle Anthropic. Plus tôt cette année, Microsoft a investi la somme colossale de 10 milliards de dollars dans OpenAI, qui serait actuellement en pourparlers avec des investisseurs pour vendre les actions à un prix avantageux. valorisation de 80 à 90 milliards de dollars.

Les grands modèles linguistiques (LLM) et l’IA générative sont devenus des domaines de concurrence intense, poussant les géants de la technologie à renforcer leur vivier de talents et à accéder à des modèles avancés grâce à des partenariats avec des laboratoires d’IA. Ces partenariats et investissements génèrent des avantages mutuels pour les laboratoires d’IA et les entreprises technologiques qui y investissent. Cependant, ils ont également d’autres implications, moins séduisantes, pour l’avenir de la recherche en IA, qui méritent d’être explorées.

Recherche accélérée et intégration de produits

Les LLM nécessitent d’importantes ressources informatiques pour être entraînées et exécutées, ressources auxquelles la plupart des laboratoires d’IA n’ont pas accès. Des partenariats avec de grandes entreprises technologiques fournissent à ces laboratoires les serveurs cloud et les GPU dont ils ont besoin pour entraîner leurs modèles.

OpenAI, par exemple, a exploité l’infrastructure cloud Azure de Microsoft pour former et servir ses modèles, notamment ChatGPT, GPT-4 et DALL-E. Anthropic aura désormais accès à Amazon Web Services (AWS) et à ses puces spéciales Trainium et Inferentia pour former et servir ses modèles d’IA.

Les progrès impressionnants des LLM ces dernières années doivent en grande partie aux investissements des grandes entreprises technologiques dans les laboratoires d’IA. En échange, ces entreprises technologiques peuvent intégrer à grande échelle les derniers modèles dans leurs produits, offrant ainsi de nouvelles expériences aux utilisateurs. Ils peuvent également fournir des outils permettant aux développeurs d’utiliser les derniers modèles d’IA dans leurs produits sans les frais techniques liés à la configuration de grands clusters informatiques.

Cette boucle de rétroaction aidera les laboratoires et les entreprises à relever les défis de ces modèles et à les relever plus rapidement.

Moins de transparence et plus de secret

Cependant, à mesure que les laboratoires d’IA se retrouvent pris dans la concurrence entre les grandes entreprises technologiques pour une plus grande part du marché de l’IA générative, ils pourraient devenir moins disposés à partager leurs connaissances.

Auparavant, les laboratoires d’IA collaboraient et publiaient leurs recherches. Ils sont désormais incités à garder leurs découvertes secrètes afin de conserver leur avantage concurrentiel.

Ce changement est évident dans le passage de la publication de documents complets contenant des architectures de modèles, des poids, des données, du code et des recettes de formation à la publication de rapports techniques qui fournissent peu d’informations sur les modèles. Les modèles ne sont plus open source mais sont plutôt publiés derrière les points de terminaison de l’API. On sait très peu de choses sur les données utilisées pour entraîner les modèles.

L’effet direct d’une moindre transparence et d’un plus grand secret est un rythme de recherche plus lent. Les institutions pourraient finir par travailler sur des projets similaires en secret sans s’appuyer sur les résultats des autres, ce qui ferait inutilement double emploi.

La transparence réduite rend également plus difficile pour les chercheurs et les institutions indépendants de vérifier la robustesse et la nocivité des modèles, car ils ne peuvent interagir avec les modèles que via des interfaces API de type boîte noire.

Moins de diversité dans la recherche sur l’IA

À mesure que les laboratoires d’IA deviennent liés aux intérêts des investisseurs et des grandes entreprises technologiques, ils pourraient être incités à se concentrer davantage sur la recherche ayant des applications commerciales directes. Cette focalisation pourrait se faire au détriment d’autres domaines de recherche qui pourraient ne pas produire de résultats commerciaux à court terme, mais qui pourraient apporter des avancées à long terme pour l’informatique, les industries et l’humanité.

La commercialisation de la recherche en IA est évidente dans la couverture médiatique des laboratoires de recherche, qui se concentre de plus en plus sur leurs évaluations et la génération de revenus. On est loin de leur mission initiale, qui était de repousser les frontières de la science d’une manière qui serve l’humanité et réduit les risques et les méfaits de l’IA.

Atteindre cet objectif nécessite des recherches dans un large éventail de domaines, dont certains peuvent nécessiter des années, voire des décennies, d’efforts. Par exemple, l’apprentissage profond est devenu courant au début des années 2010, mais il a été l’aboutissement de décennies d’efforts de plusieurs générations de chercheurs qui ont persisté dans une idée qui, jusqu’à récemment, était largement ignorée par les investisseurs et le secteur commercial.

Le contexte actuel risque d’éclipser ces autres domaines de recherche qui pourraient fournir des résultats prometteurs à long terme. Les grandes entreprises technologiques sont également plus susceptibles de financer la recherche sur les techniques d’IA qui s’appuient sur d’énormes ensembles de données et de ressources informatiques, ce qui leur donnera un net avantage sur les petits acteurs.

Fuite des cerveaux vers les grandes technologies

L’intérêt croissant pour l’IA commerciale poussera les grandes entreprises technologiques à exploiter leur richesse pour attirer le bassin limité de talents en IA dans leurs organisations. Les grandes entreprises technologiques et les laboratoires d’IA qu’elles financent peuvent offrir des salaires exceptionnels aux meilleurs chercheurs en IA, un luxe que les laboratoires d’IA à but non lucratif et les établissements universitaires ne peuvent se permettre.

Même si tous les chercheurs ne seront pas intéressés à travailler avec des organisations à but lucratif, nombre d’entre eux seront attirés par ces organisations, ce qui se fera encore une fois au détriment de la recherche sur l’IA qui a une valeur scientifique mais peu d’utilité commerciale. Cela centralisera également le pouvoir au sein de quelques entreprises très riches et rendra très difficile pour les startups la concurrence pour les talents en IA.

Doublures argentées

Alors que la course aux armements parmi les grandes technologies remodèle le paysage de la recherche sur l’IA, tout n’est pas sombre. La communauté open source a réalisé des progrès impressionnants parallèlement aux services d’IA fermés. Il existe désormais une gamme complète de modèles de langage open source disponibles en différentes tailles et pouvant fonctionner sur du matériel personnalisé, des GPU hébergés dans le cloud aux ordinateurs portables.

Des techniques telles que le réglage efficace des paramètres (PEFT) permettent aux organisations de personnaliser les LLM avec leurs propres données avec de très petits budgets et ensembles de données. Il existe également des recherches prometteuses dans des domaines autres que les modèles de langage, tels que les réseaux de neurones liquides menés par des scientifiques du MIT, qui apportent des solutions prometteuses à certains des défis fondamentaux de l’apprentissage profond, notamment le manque d’interprétabilité et la nécessité de disposer d’ensembles de données massifs pour la formation. Parallèlement, la communauté de l’IA neuro-symbolique continue de travailler sur de nouvelles techniques qui pourraient donner des résultats prometteurs à l’avenir.

Il sera intéressant de voir comment la communauté des chercheurs s’adapte aux changements provoqués par la ruée vers l’or de l’IA générative accélérée des grandes technologies.