Les accélérateurs Nvidia H100 semblent moins bons que les Intel Gaudi 2

Table des matières

La start-up anglaise Stability a réalisé une série de tests liés à l’entraînement et à l’inférence de l’intelligence artificielle. Elle montre que les puces Gaudi 2 d’Intel apparaissent comme une alternative intéressante aux CPU Nvidia H100. Des composants qui sont vendus à un prix plus onéreux et dont l’approvisionnement risque de devenir plus difficile.

Le monopole de Nvidia dans l’entraînement et l’inférence de l’intelligence artificielle pourrait bientôt disparaître. Stability AI a découvert que les puces A100 et H100 de la firme proposent d’excellents résultats globaux. Les accélérateurs d’Intel pourraient cependant devenir une alternative sérieuse. D’autant plus qu’ils coûtent moins cher et que les processeurs Gaudi 2 qui sont livrés plus rapidement.

Afin d’arriver à cette conclusion, la start-up londonienne a entraîné deux de ses modèles de langage. Elle a ensuite comparé la vitesse d’entraînement des puces Nvidia H100 et A100 avec celle des CPU Gaudi 2. Ces accélérateurs représentent deux des options les plus prisées chez les programmeurs et les start-ups qui entraînent des LLM.

Stability a testé Gaudi 2 sur Stable Beluga 2.5 70B

L’un des modèles utilisés par Stability AI lors de l’expérimentation porte sur Stable Beluga 2.5 70B. Il s’agit d’une variante fine-tuned de Llama 2 70B et reposant sur le modèle Stable Beluga 2. Elle a été entraînée avec 256 CPU Gaudi 2. La jeune pousse britannique révèle que ses équipes ont obtenu un débit moyen total prodigieux de 116 777 jetons/seconde :

En exécutant notre code PyTorch tel quel, sans optimisations supplémentaires.

Les tests d’inférence se sont en revanche soldés par un débit de 673 tokens/seconde par puce. Ils ont été réalisés avec une taille de token de 128 pour l’entrée et de 2048 pour la sortie. À l’issue des opérations, Gaudi 2 s’est révélé 28 % plus rapide par rapport à TensorRT-LLM. À noter que le Nvidia offre un débit de 525 jetons/seconde.

Le deuxième modèle auquel Stability AI a recouru pour son étude s’appelle Stable Diffusion 3. Lors des tests d’inférence de sa version 8B, les accélérateurs Gaudi 2 confèrent une vitesse égale à celle des A100. Ceci en se servant de la bibliothèque logicielle de machine learning PyTorch. Une base que beaucoup de développeurs portés par une entreprise de portage salarial comme CEGELEM utilise. La puce d’Intel génère néanmoins des images 40 % plus lentement que les accélérateurs A100 avec l’optimisation TensorRT. La start-up anglaise souligne que les accélérateurs Gaudi 2 peuvent dépasser les A100 sur le Stable Diffusion 3 8B. Il faut juste accentuer davantage l’optimisation, explique-t-elle.

Gaudi 2 s’avère également plus rapide sur Stable Diffusion 3

Le benchmark d’entraînement du Stable Diffusion 3 a été quant à lui mené sur 2 nœuds, ce qui représente au total 16 puces Gaudi 2. Les résultats de l’expérimentation enseignent que les CPU ont traité 927 images/seconde en conservant le batchsize. Le système s’est ainsi avéré 1,5 fois plus rapide que le H100-80GB. Le taux d’entraînement a même grimpé à 1 254 images/seconde lorsque le batchsize a été doublé à 32 par processeur.

Les puces Gaudi 2 ont également affiché des performances plus élevées lors du test suivant, avec 256 CPU. Leur rendu a été estimé à 1 254 images à la seconde. Comparé aux accélérateurs A100-80GB, le cluster Gaudi 2 a traité dans cette configuration 3 fois plus d’images/seconde. Ces processeurs Nvidia sont pourtant réputés pour se baser sur une pile logicielle avec un niveau d’optimisation ultra-élevé.

Stability AI a lancé Stable Diffusion 3 en fin février 2024. Ce modèle de conversion texte-image est pour l’instant disponible seulement en accès limité. La start-up britannique envisage toutefois de proposer cet outil dans un intervalle de 800 millions à 8 milliards de paramètres. Lors de ses expérimentations, la jeune pousse s’est appuyée sur la variante à 2 milliards de paramètres.

Cet article vous a-t-il été utile ?

Note moyenne 0 / 5. Nombre de votes 0

Actualité du portage salarial