NVIDIA implementa HSTU com Dynamo-Triton

NVIDIA implementa sistema de recomendação generativo HSTU com Dynamo-Triton. A empresa também revela novas ferramentas para conter agentes de IA durante o treinamento. As ferramentões dependem de hardware específico da NVIDIA e ainda não estão disponíveis no Brasil.

NVIDIA divulga ferramentas para conter agentes de IA. As ferrament de chamadas Openshell e Sentry permitem que usuários definam regras que modelos de IA não devem violar. Openshell é executado em CPUs Vera da NVIDIA, enquanto Sentry é usado em sistemas Bluefield. A empresa acredita que os problemas de segurança da IA são técnicos e não exigem regulamentação. A tecnologia também está colaborando com SK Hynix e TSMC em memórias HBM. SK Hynix testou HBM5 com TSMC usando o packaging CoWoS, enquanto HBM4 está sendo integrado à plataforma da empresa.

Comparison diagram of Traditional Deep Learning Recommendation Model versus Generative RecSys HSTU workflow. — Imagem: Divulgação/developer.nvidia.com

NVIDIA revela como Openshell e Sentry funcionam. Openshell é executado em CPUs Vera da empresa e permite definir regras que modelos de IA não devem quebrar. Sentry, por sua vez, opera em sistemas Bluefield e também define limites para saídas de agentes de IA. As ferramentas ajudam a controlar o comportamento dos modelos durante o treinamento.

Flowchart of the PyTorch AOTI workflow from model export to native C++ runtime loading. — Imagem: Divulgação/developer.nvidia.com

A integração de HBM4 na plataforma da NVIDIA está em andamento. A empresa também trabalha com SK Hynix e TSMC em novas tecnologias de memória. A integração do HBM4 e os testes com HBM5, usando CoWoS, melhoram o processamento de dados. A colaboração com SK Hynix e TSMC avança a tecnologia de memória. A implementação do HSTU pode transformar a forma como sistemas de recomendação trabalham com IA. Ainda não há data para a disponibilidade no Brasil.