Je souhaiterais pouvoir exécuter localement des modèles d’intelligence artificielle sur un ordinateur portable. J’ai entendu que les modèles d’entrée de gamme ne sont pas très performants et qu’un modèle d’au moins 70B est nécessaire.
Parmi les ordinateurs portables actuels qui pourraient exécuter un tel modèle, voire un plus grand, je pensais à la série Pro de Lenovo avec les spécifications ci-dessous, mais je ne suis pas sûr que ce sera suffisant.
32 Go de RAM LPDDR5
Intel Core Ultra 7/9
RTX 5050
Avez-vous d’autres suggestions pour un ordinateur portable ? Je ne suis pas intéressé par l’achat d’un Mac, c’est un choix personnel.
Si aucun ordinateur portable actuel n’est capable de faire tourner les derniers modèles, même de façon minimale, je préférerais économiser mon argent et investir dans un ordinateur portable milieu de gamme, puis utiliser l’argent pour du calcul en cloud ou même un ordinateur de bureau.
Règle générale : Taille du modèle / 2 = VRAM nécessaire pour une qualité Q4 acceptable.
La RTX 5050 n’est même pas dans la même ligue pour exécuter un modèle approchant les 70B. Et tenter de le faire sur un notebook coûtera au moins 8 000 à 10 000 $, avec des GPU externes.
Avec 32 Go de VRAM, je passe un bon moment avec Llama 70B 3.3 IQ3 et R1-Distill-70B-IQ3. Une profondeur de connaissances incroyable et une capacité de réflexion/raisonnement passable.
Cela dépend de votre définition de « fonctionner »
Lourdement quantifié et attendre une demi-heure pour une réponse ? Bien sûr, facilement.
Q8 ou fp16 à plus de 20 tokens par seconde ? Eh bien, vous allez avoir besoin d’une plus grosse tirelire.
Un ordinateur portable et 4 GPU externes offrent de nombreuses possibilités. 😉
Tu repousses un peu la définition d’un ordinateur portable à ce stade lol
Vous avez besoin d’un Oculink avec une RTX 6000 48 Go.
Les modèles 70B ne sont pas du MoE, et il n’est pas conseillé de faire de l’offloading avec des modèles denses.
oubliez d’exécuter un modèle 70B sur un ordinateur portable
MacBook Pro avec M4 Max et 128 Go de mémoire unifiée
4 699 USD