Baidu lance une version flash du modèle ERNIE 5.5

Baidu lance une version flash du modèle ERNIE 5.5. Cette version utilise 14 milliards de paramètres activés par token, au lieu de 280 milliards.

Le modèle ERNIE 5.5 Flash Base repose sur une architecture MoE parcimonieuse et intègre une attention hybride, Multi-Router Latent MoE, mHC, MultiMax et ECHO. Le modèle a été entraîné sur 33,5 billions de tokens et prend en charge un contexte allant jusqu'à 1 million de tokens. Il est disponible sur Hugging Face en tant que checkpoint final du préentraînement. La version flash d'ERNIE 5.5 s'adresse aux chercheurs et aux développeurs qui ont besoin d'efficacité de calcul et de la capacité à traiter de longs contextes. La disponibilité au Brésil n'a pas été confirmée.

Nécessite un accès à Hugging Face et des connaissances techniques pour l'adaptation au domaine. La version flash est une évolution du modèle d'origine, optimisée pour une utilisation dans des environnements aux ressources limitées. Baidu souligne que la version flash conserve la capacité de traiter de longs contextes, mais avec une moindre demande en ressources de calcul. La disponibilité sur Hugging Face facilite l'accès au modèle, mais sa présence au Brésil n'a pas encore été confirmée.

La version flash d'ERNIE 5.5 est une alternative au modèle complet, qui compte 280 milliards de paramètres. Baidu n'a pas communiqué le prix de la version au Brésil.

Les paramètres activés réduisent l'utilisation de la mémoire et accélèrent l'inférence

Les paramètres activés réduisent l'utilisation de la mémoire et accélèrent l'inférence : cela diminue la consommation de mémoire et accélère le processus d'inférence, rendant le modèle plus efficace. La capacité à traiter jusqu'à 1 million de tokens permet au modèle de gérer des données complexes sans perte de précision. La version flash facilite également l'adaptation au domaine, ce qui est crucial pour des applications spécifiques, comme les résumés de documents ou l'analyse de sentiments. L'optimisation de l'architecture MoE parcimonieuse et l'intégration de techniques comme l'attention hybride et MultiMax contribuent à cette efficacité.

L'architecture MoE parcimonieuse permet au modèle d'exécuter des tâches avec une moindre consommation de ressources, tout en conservant ses performances, sans charger tous les paramètres simultanément. Sa mise à disposition sur Hugging Face simplifie également l'intégration dans des projets de recherche, même sans accès direct à l'écosystème de Baidu. La version flash d'ERNIE 5.5 est disponible sous la forme du checkpoint final du pré-entraînement, ce qui permet aux utilisateurs de travailler avec la version optimisée sans perdre la puissance de la version complète.

Texte rédigé avec l'IA à partir des sources citées et vérifié par les règles automatiques de la rédaction. Notre méthode

• #software
• #ia