Reshard Collective acelera reajuste de pesos em aprendizado de reforço

A Reshard Collective troca a sequência serializada de reajuste de pesos por um fluxo paralelo. O modelo de política é atualizado apenas nas GPUs de treinamento. A inferência ocorre em GPUs distintas.

Durante o processo, os trajetos de treinamento são gerados dinamicamente enquanto a inferência ocorre com o modelo de política atual. Isso reduz o tempo de espera entre iterações e aumenta a eficiência do treinamento. O sistema precisa atualizar os pesos periodicamente para manter a consistência entre os modelos. A abordagem depende de um arranjo desagregado com GPUs distintas, o que exige uma infraestrutura específica para funcionar. Para desenvolvedores que buscam otimizar o reajuste de pesos, a Reshard Collective oferece uma alternativa ao fluxo serializado tradicional, permitindo maior flexibilidade e desempenho.

An 8-by-8 weight matrix is split by rows across two training GPUs and by columns across four inference GPUs. Each inference G — Imagem: Divulgação/developer.nvidia.com

Reshard Collective gera trajetos em tempo real durante inferência

A Reshard Collective usa um arranjo desagregado com GPUs separadas e exige que o sistema atualize os pesos periodicamente. Essa atualização periódica é essencial para manter a consistência entre o modelo de inferência e o modelo de treinamento. Isso permite que o modelo aprenda com dados em tempo real, sem precisar esperar por uma nova atualização completa. A abordagem pode frustrar quem busca simplificar a arquitetura do sistema, pois exige uma configuração específica com múltiplas GPUs.

Diagram showing four training GPUs holding column shards of a tensor and four inference GPUs each receiving a complete tensor — Imagem: Divulgação/developer.nvidia.com

A Reshard Collective surge como uma abordagem inovadora para acelerar o reajuste de pesos no aprendizado de reforço, permitindo que inferência e treinamento ocorram simultaneamente em GPUs distintas. A ideia é substituir a sequência serializada de atualizações por um fluxo paralelo, o que pode reduzir o tempo de resposta e aumentar a eficiência do processo. A Reshard Collective é parte de uma tendência maior de otimização de algoritmos de aprendizado de reforço, que busca equilibrar a precisão com a velocidade de execução.

Reshard Collective acelera reajuste de pesos com paralelização

Em vez de esperar que os dados sejam processados um após o outro, o sistema divide a tarefa entre as GPUs. Isso permite que a inferência e o treinamento aconteçam ao mesmo tempo. A divisão de trabalho reduz a sobrecarga de comunicação entre os componentes do sistema. A Reshard Collective é uma abordagem inovadora.

Com informações de developer.nvidia.com.