ChatGPT a d'énormes coûts cachés qui pourraient freiner le développement de l'IA

Apr 29, 2023

Les chatbots IA ont un problème : ils perdent de l'argent à chaque chat.

Le coût énorme de l'exécution des grands modèles de langage d'aujourd'hui, qui sous-tendent des outils tels que ChatGPT et Bard, limite leur qualité et menace d'étrangler le boom mondial de l'IA qu'ils ont déclenché.

Leur coût et la disponibilité limitée des puces informatiques dont ils ont besoin limitent également les entreprises qui peuvent se permettre de les exploiter et poussent même les entreprises les plus riches du monde à transformer les chatbots en générateurs d'argent plus tôt qu'ils ne le pourraient.

"Les modèles actuellement déployés, aussi impressionnants qu'ils paraissent, ne sont vraiment pas les meilleurs modèles disponibles", a déclaré Tom Goldstein, professeur d'informatique à l'Université du Maryland. "Donc, en conséquence, les modèles que vous voyez ont beaucoup de faiblesses" qui pourraient être évitées si le coût n'était pas un problème - comme une propension à cracher des résultats biaisés ou des mensonges flagrants.

Que se passe-t-il lorsque ChatGPT ment sur de vraies personnes ?

Les géants de la technologie qui misent leur avenir sur l'IA discutent rarement du coût de la technologie. OpenAI (le créateur de ChatGPT), Microsoft et Google ont tous refusé de commenter. Mais les experts disent que c'est l'obstacle le plus flagrant à la vision de Big Tech d'une IA générative qui se fraye un chemin dans tous les secteurs, réduisant le nombre de têtes et augmentant l'efficacité.

Le calcul intensif requis par l'IA est la raison pour laquelle OpenAI a retenu son nouveau modèle de langage puissant, GPT-4, de la version gratuite de ChatGPT, qui exécute toujours un modèle GPT-3.5 plus faible. L'ensemble de données sous-jacent de ChatGPT a été mis à jour pour la dernière fois en septembre 2021, ce qui le rend inutile pour rechercher ou discuter d'événements récents. Et même ceux qui paient 20 $ par mois pour GPT-4 ne peuvent envoyer que 25 messages toutes les trois heures, car son fonctionnement est si coûteux. (Il est également beaucoup plus lent à répondre.)

Ces coûts peuvent également être l'une des raisons pour lesquelles Google n'a pas encore intégré de chatbot IA dans son moteur de recherche phare, qui répond à des milliards de requêtes chaque jour. Lorsque Google a publié son chatbot Bard en mars, il a choisi de ne pas utiliser son plus grand modèle de langage. Dylan Patel, analyste en chef de la société de recherche sur les semi-conducteurs SemiAnalysis, a estimé qu'une seule conversation avec ChatGPT pouvait coûter jusqu'à 1 000 fois plus qu'une simple recherche sur Google.

Dans un récent rapport sur l'intelligence artificielle, l'administration Biden a identifié les coûts de calcul de l'IA générative comme une préoccupation nationale. La Maison Blanche a écrit que la technologie devrait "augmenter considérablement les demandes de calcul et les impacts environnementaux associés", et qu'il existe un "besoin urgent" de concevoir des systèmes plus durables.

Plus encore que d'autres formes d'apprentissage automatique, l'IA générative nécessite des quantités vertigineuses de puissance de calcul et des puces informatiques spécialisées, appelées GPU, que seules les entreprises les plus riches peuvent se permettre. L'intensification de la bataille pour l'accès à ces puces a contribué à faire de leurs principaux fournisseurs des géants de la technologie à part entière, leur donnant les clés de ce qui est devenu l'atout le plus précieux de l'industrie technologique.

Pourquoi Nvidia est soudainement l'une des entreprises les plus précieuses au monde

La Silicon Valley en est venue à dominer l'économie d'Internet en partie en offrant gratuitement au monde entier des services tels que la recherche en ligne, le courrier électronique et les médias sociaux, perdant de l'argent au départ, mais réalisant finalement de gros bénéfices grâce à la publicité personnalisée. Et les publicités arrivent probablement sur les chatbots IA. Mais les analystes disent que les publicités seules ne suffiront probablement pas à rentabiliser les outils d'IA de pointe de sitôt.

En attendant, les entreprises proposant des modèles d'IA destinés aux consommateurs doivent équilibrer leur désir de gagner des parts de marché avec les pertes financières qu'elles accumulent.

La recherche d'une IA plus fiable est également susceptible de générer des bénéfices principalement pour les fabricants de puces et les géants du cloud computing qui contrôlent déjà une grande partie de l'espace numérique, ainsi que les fabricants de puces dont ils ont besoin pour exécuter les modèles.

Ce n'est pas un hasard si les entreprises qui créent les principaux modèles de langage d'IA font partie des plus grands fournisseurs de cloud computing, comme Google et Microsoft, ou entretiennent des partenariats étroits avec eux, comme OpenAI avec Microsoft. Les entreprises qui achètent les outils d'IA de ces entreprises ne réalisent pas qu'elles sont enfermées dans un service fortement subventionné qui coûte beaucoup plus que ce qu'elles paient actuellement, a déclaré Clem Delangue, PDG de Hugging Face, une société d'IA open source.

Le PDG d'OpenAI, Sam Altman, a indirectement reconnu le problème lors d'une audience au Sénat le mois dernier, lorsque le sénateur Jon Ossoff (D-Ga.) A averti que si OpenAI essayait de rendre ChatGPT addictif d'une manière qui nuit aux enfants, le Congrès "regardra très durement". Altman a déclaré qu'Ossoff n'avait pas à s'inquiéter : "Nous essayons de concevoir des systèmes qui ne maximisent pas l'engagement. En fait, nous manquons tellement de GPU que moins les gens utilisent nos produits, mieux c'est."

Le coût des modèles de langage d'IA commence par leur développement et leur formation, ce qui nécessite des quantités gargantuesques de données et de logiciels pour identifier les modèles de langage. Les entreprises d'IA embauchent également généralement des chercheurs vedettes dont les salaires peuvent rivaliser avec ceux des athlètes professionnels. Cela présente un premier obstacle pour toute entreprise souhaitant construire son propre modèle, bien que quelques start-ups bien financées aient réussi, notamment Anthropic AI, que les anciens d'OpenAI ont fondé avec le soutien financier de Google.

Ensuite, chaque requête adressée à un chatbot comme ChatGPT, Bing de Microsoft ou Claude d'Anthropic est acheminée vers des centres de données, où des superordinateurs analysent les modèles et effectuent de nombreux calculs à grande vitesse en même temps - d'abord, interprétant l'invite de l'utilisateur, puis travaillant pour prédire la réponse la plus plausible, un "jeton" ou une séquence de quatre lettres, à la fois.

Ce type de puissance de calcul nécessite des GPU, ou des unités de traitement graphique, qui ont d'abord été conçues pour les jeux vidéo, mais qui se sont révélées être les seules puces capables de gérer des tâches informatiques aussi lourdes que les grands modèles de langage. Actuellement, une seule entreprise, Nvidia, vend les meilleures d'entre elles, pour lesquelles elle facture des dizaines de milliers de dollars. La valorisation de Nvidia a récemment grimpé à 1 billion de dollars sur les ventes prévues. La société taïwanaise qui fabrique bon nombre de ces puces, TSMC, a également grimpé en valeur.

"À ce stade, les GPU sont considérablement plus difficiles à obtenir que les médicaments", a déclaré Elon Musk, qui a récemment acheté quelque 10 000 GPU pour sa propre start-up d'IA, lors d'un sommet du Wall Street Journal le 23 mai.

Ces exigences informatiques aident également à expliquer pourquoi OpenAI n'est plus l'organisation à but non lucratif pour laquelle elle a été fondée.

Lancé en 2015 avec la mission déclarée de développer l'IA "de la manière la plus susceptible de profiter à l'humanité dans son ensemble, sans contrainte par un besoin de générer un rendement financier", en 2019, il était passé à un modèle à but lucratif pour attirer les investisseurs, y compris Microsoft, qui a injecté 1 milliard de dollars et est devenu le fournisseur informatique exclusif d'OpenAI. (Microsoft a depuis versé 10 milliards de dollars supplémentaires et intégré la technologie d'OpenAI avec Bing, Windows et d'autres produits.)

Le coût exact de fonctionnement des chatbots comme ChatGPT est une cible mouvante, car les entreprises s'efforcent de les rendre plus efficaces.

En décembre, peu de temps après son lancement, Altman a estimé le coût de ChatGPT à "probablement des cents à un chiffre par chat". Cela peut sembler peu, jusqu'à ce que vous le multipliiez par plus de 10 millions d'utilisateurs par jour, comme l'ont estimé les analystes. En février, SemiAnalysis a calculé que ChatGPT coûtait à OpenAI environ 700 000 $ par jour en frais de calcul uniquement, sur la base du traitement nécessaire pour exécuter GPT-3.5, le modèle par défaut à l'époque.

Multipliez ces coûts informatiques par les 100 millions de personnes par jour qui utilisent le moteur de recherche Bing de Microsoft ou les plus d'un milliard qui utiliseraient Google, et on peut commencer à comprendre pourquoi les géants de la technologie hésitent à mettre les meilleurs modèles d'IA à la disposition du public.

Le nouveau Bing a déclaré à notre journaliste qu'il "peut ressentir ou penser des choses"

"Ce n'est pas une équation durable pour la démocratisation ou la large disponibilité de l'IA générative, l'économie ou l'environnement", a déclaré Sid Sheth, fondateur et PDG de d-Matrix, une start-up qui travaille à la construction de puces plus efficaces pour l'IA.

Google a déclaré dans son annonce de février de Bard qu'il fonctionnerait initialement sur une version "légère" du modèle de langage LaMDA de l'entreprise car il nécessitait "beaucoup moins de puissance de calcul, ce qui nous permet de nous adapter à plus d'utilisateurs". En d'autres termes, même une entreprise aussi riche que Google n'était pas prête à payer la facture de mettre sa technologie d'IA la plus puissante dans un chatbot gratuit.

Perspective : Ce que la nouvelle IA de Google devient vrai, faux et bizarre.

La réduction des coûts a fait des ravages : Bard a trébuché sur des faits de base lors de sa démonstration de lancement, retirant 100 milliards de dollars de la valeur des actions de Google. Bing, pour sa part, a déraillé très tôt, incitant Microsoft à réduire à la fois sa personnalité et le nombre de questions que les utilisateurs pouvaient lui poser dans une conversation donnée.

De telles erreurs, parfois appelées « hallucinations », sont devenues une préoccupation majeure avec les modèles de langage de l'IA, car les particuliers et les entreprises s'y fient de plus en plus. Les experts disent qu'ils sont fonction de la conception de base des modèles : ils sont conçus pour générer des séquences de mots probables, et non des déclarations vraies.

Un autre chatbot de Google, appelé Sparrow, a été conçu par la filiale DeepMind de l'entreprise pour rechercher sur Internet et citer ses sources, dans le but de réduire les mensonges. Mais Google n'a pas encore publié celui-là.

ChatGPT "hallucine". Certains chercheurs craignent que ce ne soit pas réparable.

Pendant ce temps, chacun des principaux acteurs se bat pour trouver des moyens de rendre les modèles de langage d'IA moins chers.

L'exécution d'une requête sur le nouveau modèle léger GPT-3.5 Turbo d'OpenAI coûte moins d'un dixième du prix de son GPT-4 haut de gamme. Google fabrique ses propres puces IA, qui, selon lui, sont plus efficaces que celles de Nvidia, tout comme des start-up comme d-Matrix. Et de nombreuses start-ups s'appuient sur des modèles de langage open source, tels que LLaMA de Meta, afin qu'elles n'aient pas à payer OpenAI ou Google pour utiliser les leurs - même si ces modèles ne fonctionnent pas encore aussi bien et peuvent manquer de garde-corps pour empêcher les abus.

La poussée pour des modèles plus petits et moins chers marque un renversement soudain pour l'industrie, a déclaré Goldstein du Maryland.

"Nous avons passé les quatre dernières années à essayer de fabriquer les plus gros modèles possibles", a-t-il déclaré. Mais c'était à l'époque où l'objectif était de publier des articles de recherche, et non de rendre publics les chatbots IA. "Maintenant, juste au cours des derniers mois, il y a eu un revirement complet dans la communauté, et tout à coup tout le monde essaie de construire le plus petit modèle possible pour contrôler les coûts."

Pour les consommateurs, cela pourrait signifier que les jours de l'accès sans entrave à des modèles d'IA puissants et polyvalents sont comptés.

Microsoft expérimente déjà la création de publicités dans ses résultats Bing alimentés par l'IA. Lors de l'audience du Sénat, Altman d'OpenAI n'exclurait pas de faire de même, bien qu'il ait déclaré préférer un modèle d'abonnement payant.

Les deux sociétés se disent convaincues que l'économie finira par s'éclaircir. Altman a déclaré au blog technologique Stratechery en février : "Il y a tellement de valeur ici, il est inconcevable pour moi que nous ne sachions pas comment faire sonner la caisse enregistreuse dessus."

Pourtant, les critiques notent que l'IA générative a également des coûts pour la société.

"Tout ce traitement a des implications sur les émissions de gaz à effet de serre", a déclaré Bhaskar Chakravorti, doyen des affaires mondiales à la Fletcher School de l'Université Tufts. L'informatique nécessite de l'énergie qui pourrait être utilisée à d'autres fins, y compris d'autres tâches informatiques moins à la mode que les modèles de langage d'IA. Cela "pourrait même ralentir le développement et l'application de l'IA pour d'autres utilisations plus significatives, telles que les soins de santé, la découverte de médicaments, la détection du cancer, etc.", a déclaré Chakravorti.

Sur la base d'estimations de l'utilisation et des besoins informatiques de ChatGPT, le data scientist Kasper Groes Albin Ludvigsen a estimé qu'il aurait pu utiliser autant d'électricité en janvier que 175 000 personnes, soit l'équivalent d'une ville de taille moyenne.

Pour l'instant, les géants de la technologie sont prêts à perdre de l'argent dans le but de gagner des parts de marché avec leurs chatbots IA, a déclaré Goldstein. Mais s'ils ne peuvent pas les rentabiliser ? "Finalement, vous arrivez à la fin de la courbe de battage médiatique, et la seule chose que vos investisseurs vont regarder, à ce stade, est votre résultat net."

Pourtant, Goldstein a prédit que de nombreuses personnes et entreprises trouveront difficile de résister aux outils d'IA générative, même avec tous leurs défauts. "Même si c'est cher", a-t-il dit, "c'est quand même beaucoup moins cher que le travail humain".

Nitasha Tiku a contribué à ce rapport.