NVIDIA lança nova funcionalidade de inferência nativa em Python para Jetson AGX Orin. A tecnologia permite que aplicações rodem operações de rede neural diretamente no hardware, sem camadas intermediárias.
A funcionalidade usa o NVIDIA Deep Learning Accelerator (DLA) para executar operações de redes neurais suportadas, sem dependência de camadas intermediárias. Isso melhora a eficiência energética e o desempenho, algo central para desenvolvedores que precisam de desempenho em aplicações de inferência. A NVIDIA também apresentou o Snapshot, um componente open-source da plataforma NVIDIA DSX AI Factory.
O Snapshot permite reutilizar cargas de trabalho inicializadas em GPUs em replicas de inferência, acelerando o início e recuperação de cargas de trabalho de LLM. A nova funcionalidade se conecta com a estratégia de NVIDIA em melhorar a eficiência energética e o desempenho em inferência, já coberta em matérias sobre Jetson AGX Orin e DLA. A competição com alternativas como o ANR de Apex Compute reflete a dinâmica do mercado de aceleração de GPU.
A funcionalidade foi revelada pela NVIDIA em seu site developer.nvidia.com. A informação foi publicada também por nvidia, notebookcheck e adrenaline.
DLA otimiza inferência com menos consumo e mais velocidade
O DLA é uma plataforma de hardware dedicada para inferência de aprendizado de máquina, o que significa que ele está otimizado para processar dados de forma rápida e eficiente.. A funcionalidade também se conecta com o Snapshot, um componente open-source da plataforma NVIDIA DSX AI Factory, que permite reutilizar cargas de trabalho inicializadas em GPUs em replicas de inferência. Isso pode facilitar o desenvolvimento de aplicações que precisam de flexibilidade e reutilização de recursos.
A nova funcionalidade complementa o ecossistema de inferência da NVIDIA, ganha mais opções. A NVIDIA apresentou a funcionalidade em seu site developer.nvidia.com, mas não há informações sobre disponibilidade no Brasil ou preço. A nova funcionalidade em Python é uma extensão dessa estratégia, permitindo que desenvolvedores trabalhem com mais flexibilidade e menos dependência de camadas intermediárias. Agora, a funcionalidade em Python se conecta com esse recurso, permitindo que aplicações sejam executadas com mais eficiência e menos latência. A nova funcionalidade pode atrair desenvolvedores que buscam soluções mais ágeis e eficientes para aplicações de inferência.
A inferência nativa em Python no Jetson AGX Orin substitui a dependência de camadas intermediárias por execução direta no hardware, otimizando fluxo de dados e reduzindo latência. A NVIDIA não informou quando a funcionalidade chega ao Brasil, mas a tecnologia já está disponível para desenvolvedores que usam o Jetson AGX Orin.
Preço e disponibilidade no Brasil não informados pela NVIDIA
- Preço ainda não divulgado
Fontes
- Run native dla inference in python on nvidia jetson agx orin using cudladeveloper.nvidia.com
- Start and restore gpu workloads in seconds with nvidia snapshotdeveloper.nvidia.com
- New Nvidia DLSS rival promises faster frame generation on older AMD Intel and GeForce GPUsnotebookcheck.net
- Amd cpus ia agenticaadrenaline.com.br
Texto escrito com IA a partir das fontes listadas e revisado por regras automáticas da redação. Como trabalhamos
Onde comprar
O resumer pode receber uma comissão por compras feitas nestes links (Amazon), sem custo a mais para você. Como participante do Programa de Associados da Amazon, sou remunerado pelas compras qualificadas efetuadas. Saiba como funciona.
Quer ver o resumer primeiro nas buscas do Google?
Adicionar às Fontes Preferidas do Google
