Tenstorrent est une startup qui vise à créer des accélérateurs d’IA compétitifs avec les GPU ; leur meilleur modèle actuel, [p150a](https://tenstorrent.com/hardware/blackhole), doté de 32 Go de mémoire GDDR6, a été testé contre de nombreux GPUs par le blogueur russe [Pro Hi-Tech](https://www.youtube.com/@prohitec) dans la vidéo suivante :
[https://www.youtube.com/watch?v=pIS3Yery4I0](https://www.youtube.com/watch?v=pIS3Yery4I0)
Selon la vidéo, les tests ont été lancés par un script Python quelconque sur Llama 3 8B non quantifié (à l’instant 6:48), je suppose que c’est l’inférence via la bibliothèque Transformers. Dans ce cas, il a constaté que le temps jusqu’au premier jeton était légèrement plus rapide que celui du 5090 et du A100 ; toutefois, la vitesse de génération des jets est la moitié du 5090 et équivalente au A30. En outre, il a démonté la carte et montré la carte mère (à 2:02).
Les graphiques présentés dans cette vidéo :
* 7:39 – Temps jusqu’au premier jeton, ms ;
* 8:26 – Latence inter-jet, ms ;
* 8:38 – Vitesse de génération, jets/s ;
* 9:07 – TDP de la carte ; il semble que les chiffres soient spécifiés par le fabricant, pas mesurés ;
* 9:26 – Performance par watt ; je suppose que c’est jets/s/W ;
* 9:57 – Performance par dollar ; les prix sont les prix de vente publics, pas les prix de détail réels.
Il souligne plusieurs **problèmes logiciels** avec le p150a :
* Le guide d’installation par défaut est obsolète ;
* Les conteneurs de formation de modèles fournis par le fabricant ne se lancent pas ;
* L’application de télémétrie ne rapporte aucune des paramètres de mémoire (en particulier la quantité de mémoire utilisée) ;
* Si l’application de télémétrie est lancée pendant le calcul, elle bloque le système, nécessitant un redémarrage complet de l’ordinateur ; en conséquence, il est impossible de mesurer la température du processeur sous charge ;
* Il n’a pas réussi à tester aucun des modèles de 14B qu’il a essayés (à 11:01) ; bien qu’il cite une erreur OOM, je pense que le script de test réservait simplement trop de cache KV ;
* Le p150a s’est bloqué et a nécessité un redémarrage complet du système après une charge prolongée ;
Il semble que bien que Tenstorrent propose des performances correctes pour le prix, son support logiciel est trop insuffisant pour l’utiliser en production.