**TL;DR** Je pense à construire un rig LLM avec 5 cartes graphiques AMD MI50 d’occasion de 32 Go pour exécuter Qwen 3 32b et 235b. Les vitesses estimées en termes de tokens sont prometteuses pour le prix (environ 1125 $ au total). Les plus grands obstacles sont la bande passante des voies PCIe et l’alimentation, que j’essaie de résoudre avec des cartes de bifurcation et un nouveau PSU. Je cherche des retours !
Bonjour à tous,
Récemment, je pensais m’offrir une 3090 et une mise à niveau de la mémoire pour exécuter Qwen 3 32b et 235b, mais les publications sur les MI50 m’ont fait faire des calculs rapides sur ce chemin. Les chiffres que je vois sont de 19 tok/s pour le 235b (je fais 3 tok/s en exécutant q2), et 60 tok/s avec 4x parallélisme tensoriel pour le 32b (je fais généralement 10-15 tok/s), ce qui semble excellent pour le prix. Pour moi, cela vaudrait le coup de convertir mon ordinateur de bureau en serveur dédié. À part un traitement de prompt plus lent, y a-t-il un inconvénient ?
Si c’est aussi bon que certaines publications le disent, alors je serai limité par le coût et mon matériel existant. Le plus grand problème est les voies PCIe, ou leur manque, car une faible bande passante affectera les performances lors de l’exécution des modèles en parallélisme tensoriel. Pour rendre le problème moins grave, je vais essayer de garder tout en PCIe gen 4. Ma carte mère supporte la bifurcation du port 16x gen4, qui peut être décomposé par des cartes de bifurcation PCIe 4.0. La seule carte gen4 que j’ai trouvée divise les voies, c’est pourquoi il y en a trois. Un autre problème serait l’alimentation, car les cartes devront être limitées en puissance même avec un PSU de 1600W.
Système actuel :
* **CPU :** Ryzen 5 7600
* **RAM :** 48Go DDR5 5200MHz
* **Carte mère :** MSI Mortar AM5
* **SSD (Principal) :** 1To SSD
* **SSD (Secondaire) :** 2To SSD
* **Alimentation :** 850W
* **GPU(s) :** 2x AMD RX6800
Système prévu :
* **CPU :** Ryzen 5 7600
* **RAM :** 48Go DDR5 5200MHz
* **Carte mère :** MSI Mortar AM5 (avec bifurcation activée)
* **SSD (Principal) :** 1To SSD
* **SSD (Secondaire) :** 2To SSD
* **GPU(s) (Nouveau) :** 5 x MI50 32Go (130 $ chacun + 100 $ de livraison = 750 $ au total)
* **Alimentation (Nouvelle) :** 1600W PSU – 200 $
* **Cartes de bifurcation :** Trois cartes de bifurcation PCIe 4.0 – 75 $ (25 $ chacune)
* **Câbles de riser :** Quatre câbles PCIe 4.0 8x – 100 $ (25 $ chacun)
* **Habillages de refroidissement :** Habillages de refroidissement DIY pour les GPU MI50 (DIY)
* **Coût total des nouveaux composants :** 1125 $
Ce n’est pas si mauvais. Les cartes graphiques RX6800 pourraient également être vendues. Honnêtement, la plus grande perte serait de ne plus avoir un ordinateur de bureau, mais j’ai voulu un homelab axé sur les LLM depuis un moment. Peut-être pourrais-je jouer sur une machine virtuelle sur le serveur et la diffuser ? J’aimerais beaucoup avoir des retours avant de faire une erreur coûteuse !