J’ai récemment commandé un poste de travail personnalisé pour exécuter un LLM local. Je souhaite obtenir des retours de la communauté sur le système pour savoir si j’ai fait le bon choix. Voici ses spécifications :
Dell Precision T5820
Processeur : 3,00 GHz, 18 cœurs, Intel Core i9-10980XE
Mémoire : 128 Go – 8×16 Go DDR4 PC4 U Memory
Stockage : 1 To M.2
GPU : 1x RTX 3090, 24 Go GDDR6X de VRAM
Coût total : 1836 $
Quelques remarques, j’ai essayé de trouver des RTX 3090 moins chers, mais ils semblent avoir augmenté par rapport à ce que j’ai vu sur ce sous-forum. Il semble qu’à un moment donné, ils pouvaient être achetés entre 600 et 700 $. J’ai réussi à obtenir les miens à 820 $. Et c’est l’option OEM Dell.
Je n’ai pas envisagé d’utiliser deux cartes graphiques, car selon ce que je comprends, il existe toujours un compromis en divisant la VRAM entre deux cartes. Bien qu’un lien rapide existe, ce n’est pas aussi optimal qu’avoir toute la VRAM sur une seule carte graphique. Je voudrais savoir si mon hypothèse est fausse et s’il existe une configuration qui rende les deux cartes graphiques une option.
Je prévois d’exécuter un modèle deepseek-r1 30b ou d’autres modèles de 30b sur ce système en utilisant ollama.
Qu’en pensez-vous ? Si j’ai payé trop cher, dites-moi pourquoi ou comment. Merci pour tout retour que vous pouvez me fournir.
Le Ram n’en vaut pas la peine. Trop peu de stockage. Chaque modèle de nos jours peut facilement atteindre 50 Go ou plus. Économisez pour une deuxième 3090 à l’avenir. 2×3090 vous permettra d’exécuter des modèles 70b en faible quantification assez rapidement.
J’ai une configuration extrêmement similaire à celle que vous avez décrite (même CPU, même GPU, même RAM système, etc.), et elle fonctionne sacrément bien pour ce que c’est.
La seule pièce que je prévois de mettre à niveau sur cette configuration spécifique est le GPU, en passant de la 3090 à une 4090, une fois que les 5090 seront devenues courantes.
L’étape supérieure suivante serait une RTX A6000 48GB, qui en vaut absolument la peine mais qui est aussi absurde