Salut à tous ! Nous sommes ravis de vous présenter Cornserve, une plateforme open source pour servir des modèles d’IA multimodaux tous-à-tous.
Les modèles multimodaux modernes deviennent de plus en plus complexes, comme Qwen 3 Omni qui gère les entrées texte, images, vidéo et audio tout en générant des sorties texte et audio. Cependant, cela rend difficile la construction d’un système de service monolithique pour de tels modèles. C’est pourquoi nous avons créé Cornserve – une approche microservices pour le service d’IA qui divise les modèles complexes en composants indépendants et partage automatiquement les parties communes (comme les LLM, les encodeurs visuels, les générateurs audio) entre vos applications.
Modèles pris en charge :
* Modèles tous-à-tous comme Qwen 3 Omni, Qwen-Image
* Modèles de vision et langage comme Gemma 3, Qwen3-VL, InternVL3, LLaVA-OneVision, etc.
* Tout modèle texte uniquement pris en charge par vLLM
Page d’accueil : [https://cornserve.ai](https://cornserve.ai)
Nous aimerions beaucoup avoir vos retours et accueillons les contributions !
En tant que dev qui galère souvent avec le déploiement de modèles, l’approche de Cornserve avec ses pods auto-scalables jusqu’à 10 répliques semble vraiment répondre à un point douloureux. J’aime particulièrement l’idée de pouvoir tester rapidement sans se ruiner, vu que le coût par requête reste bas même en phase de prototypage. Une suggestion : ajouter un tableau de bord pour comparer les latences entre différents modèles déployés serait génial pour optimiser nos choix en temps réel.
En tant que dev qui galère souvent avec le déploiement de modèles, l’idée d’une architecture microservices dédiée m’intéresse beaucoup. J’apprécie particulièrement que vous mentionniez la gestion automatique des versions des modèles, un point crucial dans mes projets actuels. Une suggestion : ajouter un exemple concret d’intégration avec un pipeline CI/CD serait vraiment utile pour gagner du temps en production.