NVIDIA lança modelo multimodal de 120 bilhões de parâmetros no Amazon SageMaker JumpStart.

NVIDIA lança modelo multimodal de 120 bilhões de parâmetros no Amazon SageMaker JumpStart. O modelo suporta entrada de imagem, vídeo e texto.

O Nemotron 3.5 Super VL suporta entrada de imagem, vídeo e texto. Ele inclui MTP head e é usado em document intelligence, compreensão de GUI, video question answering e agente multimodal. Pode ser implantado em Amazon EKS e SageMaker HyperPod EKS. O modelo é parte do ecossistema de IA da NVIDIA, que também inclui o Nemotron 3.5 Transcribe, um modelo de reconhecimento de fala com 30 bilhões de parâmetros. O Nemotron 3.5 Transcribe combina transcrição, tradução e reconhecimento de falantes em até 40 idiomas. O modelo de linguagem multimodal é uma evolução da série Nemotron, que já conta com modelos de 100 bilhões de parâmetros.

A arquitetura do Nemotron 3.5 Super VL é híbrida, com Mamba-2, MoE e atenção. Ele também usa codificador de visão RADIO e formato de checkpoint BF16 e NVFP4. A NVIDIA revelou o modelo em parceria com o Amazon SageMaker JumpStart, plataforma que oferece acesso a modelos pré-treinados. A disponibilidade no Brasil ainda não foi confirmada, mas o modelo pode ser usado por desenvolvedores que precisam de compreensão de texto, imagem, documento e vídeo em aplicações complexas.

O NVIDIA Nemotron 3.5 Super VL é um modelo de linguagem multimodal com 120 bilhões de parâmetros, capaz de processar entrada de imagem, vídeo e texto. A quantidade de parâmetros afeta a capacidade do modelo de entender contextos complexos e realizar tarefas como compreensão de documentos, análise de interfaces gráficas e respostas a perguntas sobre vídeos. Por outro lado, os 12 bilhões de parâmetros ativos por token definem a eficiência do modelo durante a execução.

Isso significa que, mesmo com um número alto de parâmetros totais, o modelo consegue manter um desempenho otimizado em tempo real. A combinação de raciocínio e uso de ferramentas permite que o modelo não apenas compreenda, mas também execute ações baseadas em dados multimodais. A disponibilidade no Brasil ainda não foi confirmada, mas o modelo pode ser implantado em Amazon EKS e SageMaker HyperPod EKS, facilitando sua integração em ambientes de desenvolvimento.

O Super VL, por sua vez, amplia essa capacidade com 120 bilhões de parâmetros, ativando 12 bilhões por token. Sua arquitetura híbrida, que junta Mamba-2, MoE e atenção, permite processar texto, imagem, documento e vídeo de forma integrada. Isso faz dele uma ferramenta versátil para tarefas como inteligência de documentos e respostas a perguntas sobre vídeos.

A versão do modelo no Amazon SageMaker JumpStart também pode ser deplorada em Amazon EKS, ampliando sua escalabilidade. A NVIDIA já tem um ecossistema de modelos de IA em nuvem, com destaque para a estratégia de codesign para otimizar o uso de memória.

Ficha técnica

Arquitetura multimodal amplia capacidade de compreensão contextual

O NVIDIA Nemotron 3.5 Super VL substitui a abordagem tradicional de processamento de texto por uma arquitetura multimodal que lida com imagem, vídeo e texto simultaneamente. A inclusão do MTP head permite que o modelo processe múltiplas modalidades de entrada de forma integrada, facilitando tarefas como compreensão de GUI e resposta a perguntas sobre vídeos. Desenvolvedores podem construir soluções mais versáteis, sem precisar integrar múltiplos modelos.

A disponibilidade no SageMaker JumpStart simplifica o acesso ao modelo, permitindo que equipes técnicas implementem soluções avançadas de IA sem infraestrutura própria. A falta de disponibilidade no Brasil ainda é um obstáculo, mas a versatilidade do modelo pode atrair usuários em regiões com acesso a serviços da AWS.

Com informações de the-decoder.com, huggingface.co e technews.tw.

Texto escrito com IA a partir das fontes listadas e revisado por regras automáticas da redação. Como trabalhamos

Links de afiliado: Amazon

• #hardware
• #software