Je viens tout juste de me lancer dans l’intelligence artificielle locale. C’est du bon matériel. J’ai donc un MacBook Pro avec un M1 Max et 64 Go, qui exécute la plupart des modèles dans Ollama sans problème et aussi certaines choses ComfyUI. Mon 5060ti 16 Go sur mon ordinateur Windows peut exécuter certains modèles plus petits et fait tourner certaines versions Comfy. Je peux exécuter Qwen3 et Coder:30b sur mon MacBook, mais pas sur mon 5060ti. Le problème semble être la VRAM. J’ai une RX6800 qui est vraiment une carte graphique puissante pour les jeux, mais évidemment elle rame en IA sans CUDA. Ma question : puis-je ajouter une RX6800 qui a également 16 Go de VRAM pour l’utiliser à côté de mon 5060ti 16 Go, simplement pour utiliser la VRAM, ou est-ce une perte de temps ? Je sais qu’elles ne sont pas compatibles pour jouer ensemble, sauf si vous faites le truc « une carte rend, l’autre génère les images », et je sais que je vais limiter certaines voies PCIe. Ou est-ce que je le ferai ? La RX6800 est PCIe4x16 et le 5060ti est PCIe5x8 ? Je doute que cela compte beaucoup, mais j’ai un 13900kf et 64 Go de DDR5 pour mon système principal également.
Ça devrait fonctionner avec llama.cpp Vulkan. Cela fonctionne pour moi avec 2 cartes graphiques Nvidia et une AMD sous Linux. Je n’ai jamais essayé cela sous Windows toutefois.
Essayez-le avec llama.cpp et partagez les résultats. Je pense que ça devrait fonctionner.