Amazon escala MoE com RLHF e GRPO usando EKS, EFA e DeepEP

A Amazon escala modelos de linguagem massivamente paralelos com RLHF e GRPO. A arquitetura combina EKS, EFA e S3 para orquestração, comunicação e armazenamento. A impressora Epson Ecotank ET-2861 foi adquirida por £60 (≈ US$ 79,51) menos do que o preço normal

A escala de MoE com RLHF e GRPO aumenta a taxa de transferência em 40%. EKS gerencia workers heterogêneos, enquanto EFA oferece comunicação inter-nó de alta largura de banda. DeepEP otimiza comunicação de expert-parallelism sobre EFA. A arquitetura permite que a comunicação entre nós e instâncias seja mais eficiente. A combinação de EKS, EFA e S3 otimiza a orquestração e o armazenamento em larga escala.

Amazon escala MoE com RLHF e GRPO usando EKS, EFA e DeepEP — Imagem: Divulgação/aws.amazon.com

EKS e EFA aceleram processamento em larga escala A orquestração com EKS permite que a Amazon gerencie workers heterogêneos de forma eficiente. Isso significa que diferentes tarefas podem rodar simultaneamente sem conflitos. A comunicação inter-nó, otimizada com EFA, reduz o tempo de espera entre servidores. A comunicação intra-nó ganha velocidade, permitindo troca de dados entre componentes do mesmo nó.

Bar chart comparing RL rollout throughput with and without DeepEP over EFA on 48 P5en instances — Imagem: Divulgação/aws.amazon.com

O armazenamento via S3 garante que os modelos tenham acesso a grandes volumes de dados sem interromper o fluxo de trabalho. Essa abordagem faz com que a escala de MoE com RLHF e GRPO seja mais fluida e eficiente. A Amazon está usando essas ferramentas para melhorar a produtividade em sistemas complexos. A comunicação de expert-parallelism, otimizada com DeepEP, permite troca de informações entre modelos distribuídos com maior precisão. Isso reduz a latência entre os especialistas e melhora a sincronização durante o treinamento. A combinação de EKS, EFA e S3 cria uma infraestrutura que suporta a escalabilidade dos modelos de linguagem massivamente paralelos.

EKS cluster topology with GPU, CPU, and memory-optimized node groups for the RL workflow — Imagem: Divulgação/aws.amazon.com

EFA e DeepEP evoluem infraestrutura de IA

EFA e DeepEP evoluem infraestrutura de IA A empresa já usava EKS para orquestração, mas agora integra EFA e DeepEP para otimizar comunicação. A comunicação inter-nó e intra-nó é otimizada com EFA, enquanto o armazenamento usa S3. A integração de tecnologias como EFA e DeepEP reflete uma evolução contínua na infraestrutura de IA. A nova arquitetura prioriza comunicação inter-instance e expert-parallelism, otimizando fluxo de dados em sistemas distribuídos.

RL job data flow on EKS from rollout workers through a memory buffer to policy training and Amazon S3 — Imagem: Divulgação/aws.amazon.com

A arquitetura que une EKS, EFA e DeepEP permite que MoE RLHF e GRPO rodem com maior eficiência, reduzindo a latência entre nós e aumentando a capacidade de processamento. EKS gerencia workers heterogêneos, permitindo que diferentes tipos de nós trabalhem juntos sem conflitos de comunicação. EFA oferece comunicação inter-nó de alta largura de banda, reduzindo o tempo de transferência entre componentes do sistema. A combinação de E, EFA e S3 otimiza a distribuição de dados, garantindo que todos os nós acessem informações rapidamente. Essa integração permite que a Amazon execute tarefas complexas com menor tempo de resposta e maior escalabilidade.