par Bien que la performance des TPU de Google soit impressionnante, il reste à voir si la société développera une nouvelle puce pour rivaliser avec la Nvidia H100.
Derrière les applications de l’intelligence artificielle bien connues telles que ChatGPT, Bing Chat et Midjourney se cachent d’importantes ressources mobilisées en coulisses pour alimenter l’évolution rapide de l’intelligence artificielle. Celles-ci ne représentent en réalité que la partie visible de l’iceberg. Les batailles de leadership sur les puces pour l’IA ont débuté entre Nvidia, qui représente 90 % des parts de marché des puces dédiées aux supercalculateurs conçus pour entraîner les modèles d’IA, et Google, qui vient de dévoiler son nouveau supercalculateur IA basé sur une puce appelée ‘Tensor Processing Unit’ (TPU).
Le TPU est impressionnant
En effet, depuis 2016, la firme de Mountain View, même si elle ne communique pas beaucoup sur cela, conçoit et déploie ses propres puces pour l’intelligence artificielle, appelées Tensor Processing Units (TPU), qui en est à sa quatrième génération. Le TPU fonctionne en exécutant de la multiplication matricielle, une opération mathématique fondamentale en apprentissage en profondeur (Deep Learning) qui consiste à multiplier deux matrices pour obtenir une troisième matrice résultante. Le TPU est conçu pour effectuer cette opération de manière extrêmement rapide, jusqu’à 100 pétaflops de données, soit l’équivalent de 100 quadrillions d’opérations en virgule flottante par seconde. Un quadrillon est un nombre égal à 10 à la puissance 15, soit un million de milliards.
Google utilise ces puces pour plus de 90 % du travail de l’entreprise sur la formation à l’intelligence artificielle, le processus d’alimentation des données via des modèles pour les rendre utiles dans des tâches telles que répondre à des requêtes avec du texte de type humain ou générer des images. Les enjeux sont considérables, car les modèles d’IA sont de plus en plus utilisés dans les tâches quotidiennes.
Google dévoile un supercalculateur sur mesure pour soutenir ses modèles d’IA volumineux.
Mais non seulement ses modèles, mais aussi les requêtes demandent de la puissance et donc des supercalculateurs. À titre d’exemple, Google a publié un article scientifique détaillant comment il a assemblé plus de 4 000 puces dans un supercalculateur en utilisant ses propres commutateurs optiques développés sur mesure pour aider à connecter des machines individuelles. La connexion intra-puces est critique dans ce cas, car les modèles d’IA sont de plus en plus volumineux et doivent être répartis sur des milliers de puces qui doivent ensuite travailler ensemble longtemps pour former le modèle. A titre d’exemple, le modèle PaLM de Google a été formé en le répartissant sur deux des 4 000 supercalculateurs pendant 50 jours.
Alors que Google ne publie que maintenant des détails sur son supercalculateur, il est en ligne au sein de l’entreprise depuis 2020 dans un datacenter dans l’Oklahoma. De plus, Google a révélé que la startup Midjourney a utilisé le système pour former son modèle, qui génère de nouvelles images après avoir reçu quelques mots de texte.
Bien que l’outil ChatGPT d’OpenAI soit souvent mis en avant, Google reste un acteur clé dans le domaine de l’intelligence artificielle et a contribué à de nombreuses avancées significatives ces dernières années. Néanmoins, certains experts estiment que l’entreprise américaine a pris du retard dans la commercialisation de ses inventions et innovations. Dans ce contexte, Google a récemment accéléré la sortie de nouveaux produits pour démontrer qu’elle n’a pas laissé son avance technologique se perdre.
En effet, Google a déclaré que ses puces étaient jusqu’à 1,7 fois plus rapides et 1,9 fois plus économes en énergie que le système basé sur la puce A100 de Nvidia qui était sur le marché en même temps que le TPU de quatrième génération, pour des systèmes de taille comparable. Cette performance impressionnante pourrait avoir un impact significatif sur l’industrie de l’IA et remettre en question la domination de Nvidia. Cependant, il convient de noter que les résultats des TPU de Google n’ont pas été comparés aux puces Nvidia les plus récentes, telles que la H100. Les résultats et les classements d’un test de puce AI à l’échelle de l’industrie appelé MLperf ont été publiés, et le PDG de Nvidia, Jensen Huang, a déclaré que les résultats de la puce Nvidia la plus récente, la H100, étaient nettement plus rapides que la génération précédente.
Le futur de l’IA : développement et innovation
Bien que des rumeurs circulent, il n’y a pas d’information officielle à ce jour sur le développement d’une nouvelle puce Tensor Processing Unit (TPU) chez Google pour rivaliser avec la Nvidia H100. Google dispose en son sein de nombreux chercheurs, ingénieurs et laboratoires, ce qui suggère que le développement de la cinquième génération de TPU est en cours. À ce stade, aucune information précise n’a été communiquée sur la nouvelle puce.
Enfin, il est également important de noter que les supercalculateurs ne sont pas la seule solution pour améliorer les performances de l’IA. Des techniques telles que la quantification de poids, la compression de modèle et l’optimisation de code peuvent également aider à améliorer l’efficacité et les performances de l’IA sur des plates-formes moins puissantes.
En fin de compte, l’avenir de l’IA dépendra de la capacité des entreprises à innover et à développer de nouvelles technologies pour améliorer les performances des modèles d’IA, tout en minimisant la consommation d’énergie. La concurrence entre les entreprises, comme Google et Nvidia, est un moteur important pour stimuler l’innovation et la croissance dans ce domaine passionnant et en constante évolution. (c)
