A Amazon lança SageMaker HyperPod Inference Gateway, um sistema de roteamento GPU-aware que reduz a latência do primeiro token em até 82%. O recurso foi lançado em 18 de setembro de 2026.
O sistema usa métricas em tempo real para direcionar requisições para pods otimizados. Isso permite suporte a múltiplos modelos e otimiza a alocação de recursos com base em métricas como utilização de cache e presença de adaptadores LoRA. O SageMaker HyperPod Inference Gateway é um addon Kubernetes-native que se instala em clusters HyperPod. Ele reduz a latência e melhora a utilização de GPU. O SageMaker HyperPod Inference Gateway é uma das duas vias de implantação da Amazon SageMaker, juntamente com SageMaker Endpoints.
O novo recurso é integrado ao Amazon SageMaker e disponível como addon EKS. Ele visa otimizar a latência e a utilização de recursos em inferência de modelos de linguagem.
Redução de latência acelera respostas de IA
A redução de latência e o aumento da eficiência são pontos-chave. Isso permite que diferentes cargas de trabalho sejam processadas de forma mais eficiente, sem sobrecarregar a infraestrutura. A capacidade de rotear requisições para pods otimizados também ajuda a manter a estabilidade do sistema durante picos de demanda. Antes, a AWS já havia lançado soluções para reduzir cold starts em inferência, como o uso de caching de modelos.
A nova ferramenta se encaixa em uma linha de evolução que busca acelerar respostas de IA, com foco em latência e eficiência de recursos. O SageMaker HyperPod Inference Gateway é um addon EKS que se integra ao SageMaker, permitindo roteamento GPU-aware para inferência de modelos de linguagem. A ferramenta é parte de uma estratégia contínua da empresa para acelerar respostas de IA, priorizando latência e eficiência de recursos em aplicações de inteligência artificial.
Roteamento dinâmico melhora eficiência e latência
O SageMaker HyperPod Inference Gateway muda a forma como clusters usam GPUs, priorizando pods otimizados em tempo real. A nova funcionalidade permite multi-modelo e roteamento inteligente, melhorando a eficiência do cluster. Essa abordagem redefine a gestão de recursos em ambientes de inferência de IA.
Sem confirmação
- Preço e data no Brasil não informados
- Não há detalhes sobre modelos específicos suportados
- Não há informações sobre preços ou custos específicos
Com informações de unite.ai.
Fontes
- Aws launches sagemaker hyperpod inference gateway for gpu aware routingunite.ai
- Introducing amazon sagemaker hyperpod inference gatewayaws.amazon.com
- Amazon sagemaker inference 2026 year to date launches in reviewaws.amazon.com
- Reduce inference cold starts on amazon sagemaker hyperpod with model cachingaws.amazon.com
- Unlock efficient model deployment simplified inference operator setup on amazon sagemaker hyperpodaws.amazon.com
Texto escrito com IA a partir das fontes listadas e revisado por regras automáticas da redação. Como trabalhamos
Quer ver o resumer primeiro nas buscas do Google?
Adicionar às Fontes Preferidas do Google
