Baidu lança versão flash do modelo ERNIE 5.5

Baidu lança versão flash do modelo ERNIE 5.5. A versão usa 14 bilhões de parâmetros ativados por token, em vez de 280 bilhões.

O modelo ERNIE 5.5 Flash Base é baseado em arquitetura MoE sparso e inclui atenção híbrida, Multi-Router Latent MoE, mHC, MultiMax e ECHO. O modelo foi treinado com 33,5 trilhões de tokens e suporta contexto de até 1 milhão de tokens. Está disponível como checkpoint final do pré-treinamento no Hugging Face. A versão flash do ERNIE 5.5 é direcionada a pesquisadores e desenvolvedores que precisam de eficiência computacional e capacidade de processar contextos longos. A disponibilidade no Brasil não foi confirmada.

Requer acesso ao Hugging Face e conhecimento técnico para adaptação de domínio. A versão flash é uma evolução do modelo original, otimizada para uso em ambientes com recursos limitados. A Baidu destaca que a versão flash mantém a capacidade de processar contextos longos, mas com menor demanda de recursos computacionais. A disponibilidade no Hugging Face facilita o acesso ao modelo, mas a presença no Brasil ainda não foi confirmada.

A versão flash do ERNIE 5.5 é uma alternativa ao modelo completo, que tem 280 bilhões de parâmetros. A Baidu não informou o preço da versão no Brasil.

Parâmetros ativados reduzem uso de memória e aceleram inferência

Parâmetros ativados reduzem o uso de memória e aceleram a inferência: isso reduz o consumo de memória e acelera o processo de inferência, tornando o modelo mais eficiente. A capacidade de processar até 1 milhão de tokens permite que o modelo lidere com dados complexos sem perder precisão. A versão flash também facilita a adaptação de domínio, o que é crucial para aplicações específicas, como resumos de documentos ou análise de sentimentos. A otimização da arquitetura MoE sparso e a inclusão de técnicas como atenção híbrida e MultiMax contribuem para essa eficiência.

A arquitetura MoE sparso permite que o modelo execute tarefas com menor uso de recursos, mantendo desempenho sem carregar todos os parâmetros simultaneamente. A disponibilização no Hugging Face também simplifica a integração em projetos de pesquisa, mesmo sem acesso direto ao ecossistema da Baidu. A versão flash do ERNIE 5.5 está disponível como checkpoint final do pré-treinamento, permitindo que usuários trabalhem com a versão otimizada sem perder a potência da versão completa.

Texto escrito com IA a partir das fontes listadas e revisado por regras automáticas da redação. Como trabalhamos

• #software
• #ia