Optimisé vLLM pour AMD Radeon 9070 (architecture RDNA gfx1201) et théoriquement, y compris la nouvelle, récemment lancée ce mois-ci – Radeon PRO AI R9700 (puisque c’est gfx1201) également. (seulement pour gfx1201, je n’ai pas le temps de le construire pour les autres)
Ça m’a pris presque une semaine après avoir trouvé des bogues dans ROCm 6.4.1 qui causaient des problèmes lors de l’entraînement des modèles d’IA avec unsloth et maintenant ça fonctionne parfaitement.
J’ai également mis à jour l’image depuis Ubuntu de 22.04 LTS à 24.04 LTS, la dernière libBlaslt, pytorch, rccl, triton, ROCm 6.4.3, vLLM [0.10.1.1](http://0.10.1.1) etc et j’ai supprimé les éléments superflus comme la configuration spécifique à CDNA, pour qu’elle soit beaucoup plus légère.
L’image Docker peut être extraite ici : [https://hub.docker.com/r/muhammadn/vllm-rocm](https://hub.docker.com/r/muhammadn/vllm-rocm)
La dernière version d’Unsloth fonctionne également, j’ai entraîné certains modèles en utilisant cette image Docker.
Bonne chance !
https://preview.redd.it/l82d7su4ftlf1.png?width=2880&format=png&auto=webp&s=ba382bb83f438f73e1b68c412d3cd9aca1754ab5
https://preview.redd.it/rgr4lgx4ftlf1.png?width=2880&format=png&auto=webp&s=5c06b2aaf62bae9e5107137186c135492814d33d
https://preview.redd.it/1ekbtru4ftlf1.png?width=2880&format=png&auto=webp&s=f43eb69f10151ed171c01fb439fdc139582808b0
https://preview.redd.it/uln87ru4ftlf1.png?width=2880&format=png&auto=webp&s=4d2bd4f7f60d9ca36d0ffa10233e12eaa23818b9
https://preview.redd.it/7fdiztu4ftlf1.png?width=2880&format=png&auto=webp&s=e630ffd43be1d7e07049b15aa20d7eef4c95348b
