Amazon combina HyperPod e Qumulo para treinar IA em múltiplas regiões

Amazon lança solução que treina modelos de IA em diferentes regiões sem mover grandes volumes de dados. A tecnologia usa Qumulo Cloud Data Fabric para acesso remoto com latência de 60 ms. Testes mostram que clusters em regiões distintas atingem desempenho comparável ao local

A HyperPod oferece resiliência, checkpointing e monitoramento via Grafana. Um treinamento com modelo LLaMA v3 (1,02 bilhão de parâmetros) foi feito em dois clusters, com resultados semelhantes em velocidade e throughput. A latência inicial é visível, mas convergente em 100–150 batches. O desempenho do modelo melhorou de 43,75% para mais de 95% em um conjunto fixo de 64 mazes.

A HyperPod Inference Gateway reduz latência de primeiro token em até 82% e evita desperdício de recursos. A combinação de HyperPod e Qumulo Cloud Data Fabric permite treinar modelos em regiões distintas sem mover grandes volumes de dados. A tecnologia NeuralCache prevê acesso a dados, reduzindo a latência durante o treinamento. O desempenho de treinamento, com 115–117 samples por segundo, é comparável a clusters locais.

Testes mostram que modelos treinados em regiões distintas têm desempenho equivalente ao local. Isso significa que a solução pode ser usada em múltiplas regiões sem comprometer qualidade. A solução também inclui ferramentas como NeuralCache e VPC peering, que otimizam o acesso aos dados e a eficiência do treinamento. Isso abre espaço para escalabilidade e resiliência em clusters distribuídos.

Clusters em diferentes zonas atingem desempenho equivalente ao local, sem mover dados. A latência de 60 ms permite operações em tempo real, mesmo em regiões distantes. Isso mostra que a arquitetura é eficaz mesmo com dados distribuídos. A redução de latência de primeiro token ajuda a acelerar o início do treinamento.

Texto escrito com IA a partir das fontes listadas e revisado por regras automáticas da redação. Como trabalhamos

• #hardware
• #software