Amazon libera SGLang-Neuron para servir modelos em Trainium

A Amazon liberou SGLang-Neuron para uso em AWS Trainium. A ferramenta conecta SGLang à plataforma Neuron, usando PyTorch nativo. A compatibilidade com instância EC2 Trainium3 é uma das principais características.

Pode ser executado em instância EC2 Trainium3 com container pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04. A ferramenta é desenvolvida por RadixArk em colaboração com Annapurna Labs. A AWS também apresentou a Cartesia, parceira que usa State Space Models (SSMs) e infraestrutura AWS para oferecer text-to-speech e speech-to-text com latência sub-100ms. A Cartesia oferece modelos Sonic (text-to-speech) e Ink (speech-to-text), otimizados para conversas reais.

A Amazon Marketplace usa a Amazon SageMaker para avaliar a qualidade do conteúdo A+ em páginas de produtos. A avaliação de conteúdo A+ inclui textos, imagens e vídeos, e sua qualidade é avaliada de forma holística.

Comparativo

SGLang-Neuron × Sonic

Instância EC2 Trainium3 é base para uso de SGLang-Neuron

A instância EC2 Trainium3 é base para uso de SGLang-Neuron: SGLang-Neuron se conecta à AWS Trainium por meio de uma instância EC2 Trainium3 com container específico. Isso permite que desenvolvedores usem a plataforma Neuron para servir modelos e gerar rollouts de aprendizado por reforço com SGLang. Essa combinação oferece maior eficiência em inferência, reduzindo latência e aumentando a velocidade de processamento.

A instância EC2 Trainium3 é a base para operação, mas exige que o usuário tenha acesso a essa configuração específica. A dependência do container faz com que a ferramenta seja mais limitada em ambientes que não têm essa infraestrutura.. A Amazon não divulgou data de lançamento no Brasil, mas a disponibilidade está ligada à plataforma Trainium. A ferramenta é voltada para equipes que desejam integrar SGLang em ambientes de produção com suporte a reforço de aprendizado.

Amazon expande IA com SGLang-Neuron e integração com SageMaker

A Amazon lança SGLang-Neuron, uma ferramenta de modelagem de IA que conecta SGLang à plataforma Neuron, usando PyTorch nativo. SGLang-Ne, por sua vez, se diferencia por integrar modelos de IA com a infraestrutura Neuron, otimizando o processamento em escala. A ferramenta pode ser usada por desenvolvedores que precisam de alta desempenho em servidores de IA.

A Amazon já publicou sobre a Web Search API no Bedrock AgentCore e sobre a avaliação de conteúdo A+ com SageMaker. A disponibilidade no Brasil ainda não foi confirmada. A Amazon também está envolvida em iniciativas com NVIDIA, como a segurança de agentes de IA com OpenShell. A ferramenta é parte de um esforço para melhorar a eficiência de modelos de IA em servidores de nuvem.

SGLang-Neuron otimiza inferência com Trainium

A ferramenta pode rodar em instâncias EC2 Trainium3 com containers específicos, oferecendo um ambiente otimizado para inferência e treinamento de modelos complexos. Isso simplifica a integração com ecossistemas existentes, reduzindo a complexidade de implementação.

Texto escrito com IA a partir das fontes listadas e revisado por regras automáticas da redação. Como trabalhamos

• #hardware
• #software