Baidu lança versão flash do modelo ERNIE 5.5
Baidu lança versão flash do modelo ERNIE 5.5. A versão usa 14 bilhões de parâmetros ativados por token, em vez de 280 bilhões. O modelo ERNIE 5.5 Flash Base é baseado em arquitetura MoE sparso e inclui atenção híbrida, Multi-Router Latent MoE, mHC, MultiMax e ECHO.
Reprodução/ernie.baidu.com
ernie.baidu.comFonte original3 fontes ✓Ler matéria: Baidu lança versão flash do modelo ERNIE 5.5Fonte (abre em outra aba): ernie.baidu.com



























