NVIDIA lance un modèle multimodal de 120 milliards de…

NVIDIA lance un modèle multimodal de 120 milliards de paramètres sur Amazon SageMaker JumpStart. Le modèle prend en charge les entrées image, vidéo et texte.

Le Nemotron 3.5 Super VL prend en charge les entrées image, vidéo et texte. Il intègre une MTP head et est utilisé pour le document intelligence, la compréhension d'interfaces graphiques (GUI), le video question answering et les agents multimodaux. Il peut être déployé sur Amazon EKS et SageMaker HyperPod EKS. Le modèle fait partie de l'écosystème d'IA de NVIDIA, qui comprend aussi le Nemotron 3.5 Transcribe, un modèle de reconnaissance vocale de 30 milliards de paramètres. Le Nemotron 3.5 Transcribe combine transcription, traduction et reconnaissance des locuteurs dans jusqu'à 40 langues. Le modèle de langage multimodal est une évolution de la série Nemotron, qui compte déjà des modèles de 100 milliards de paramètres.

L'architecture du Nemotron 3.5 Super VL est hybride, associant Mamba-2, MoE et attention. Il utilise également un encodeur de vision RADIO et des formats de checkpoint BF16 et NVFP4. NVIDIA a dévoilé le modèle en partenariat avec Amazon SageMaker JumpStart, une plateforme qui donne accès à des modèles préentraînés. La disponibilité au Brésil n'a pas encore été confirmée, mais le modèle peut être utilisé par les développeurs qui ont besoin de comprendre le texte, l'image, les documents et la vidéo dans des applications complexes.

Le NVIDIA Nemotron 3.5 Super VL est un modèle de langage multimodal de 120 milliards de paramètres, capable de traiter des entrées image, vidéo et texte. Le nombre de paramètres influe sur la capacité du modèle à comprendre des contextes complexes et à accomplir des tâches comme la compréhension de documents, l'analyse d'interfaces graphiques et les réponses à des questions sur des vidéos. En revanche, les 12 milliards de paramètres actifs par token déterminent l'efficacité du modèle lors de l'exécution.

Fiche du modèle BF16 pour NVIDIA Nemotron 3.5 Super VL dans SageMaker JumpStart — Image : aws.amazon.com

Cela signifie que, même avec un nombre élevé de paramètres au total, le modèle parvient à conserver des performances optimisées en temps réel. La combinaison du raisonnement et de l'utilisation d'outils permet au modèle non seulement de comprendre, mais aussi d'exécuter des actions fondées sur des données multimodales. La disponibilité au Brésil n'a pas encore été confirmée, mais le modèle peut être déployé sur Amazon EKS et SageMaker HyperPod EKS, ce qui facilite son intégration dans les environnements de développement.

Le Super VL, lui, étend cette capacité avec 120 milliards de paramètres, dont 12 milliards activés par token. Son architecture hybride, qui réunit Mamba-2, MoE et attention, permet de traiter texte, image, document et vidéo de façon intégrée. Cela en fait un outil polyvalent pour des tâches comme l'intelligence documentaire et les réponses à des questions sur des vidéos.

La version du modèle sur Amazon SageMaker JumpStart peut également être déployée sur Amazon EKS, ce qui renforce sa scalabilité. NVIDIA dispose déjà d'un écosystème de modèles d'IA dans le cloud, avec en point d'orgue la stratégie de codesign visant à optimiser l'utilisation de la mémoire.

Déploiement du point de terminaison SageMaker en cours avant que le statut passe à InService — Image : aws.amazon.com

Fiche technique

Fiche technique
Élément	Spécification
Paramètres totaux	120B
Paramètres actifs par token	12B
Taille du contexte	Jusqu'à 1 million de tokens
Quantification	NVFP4
Encodeur de vision	RADIO
Format de checkpoint	BF16 et NVFP4

Une architecture multimodale élargit la capacité de compréhension contextuelle

Le NVIDIA Nemotron 3.5 Super VL remplace l'approche traditionnelle de traitement du texte par une architecture multimodale qui gère simultanément l'image, la vidéo et le texte. L'ajout du MTP head permet au modèle de traiter plusieurs modalités d'entrée de façon intégrée, ce qui facilite des tâches comme la compréhension d'interfaces graphiques (GUI) et les réponses à des questions sur des vidéos. Les développeurs peuvent créer des solutions plus polyvalentes, sans avoir à intégrer plusieurs modèles.

Page des détails et des capacités du modèle Nemotron 3.5 Super VL avant le déploiement — Image : aws.amazon.com

La disponibilité sur SageMaker JumpStart simplifie l'accès au modèle et permet aux équipes techniques de déployer des solutions d'IA avancées sans infrastructure propre. L'absence de disponibilité au Brésil reste un obstacle, mais la polyvalence du modèle peut séduire des utilisateurs dans des régions ayant accès aux services d'AWS.

Avec des informations de the-decoder.com, huggingface.co et technews.tw.