Baidu lanza una versión flash del modelo ERNIE 5.5

Baidu lanza la versión flash del modelo ERNIE 5.5. La versión usa 14 mil millones de parámetros activados por token, en lugar de 280 mil millones.

El modelo ERNIE 5.5 Flash Base se basa en una arquitectura MoE dispersa e incluye atención híbrida, Multi-Router Latent MoE, mHC, MultiMax y ECHO. El modelo fue entrenado con 33,5 billones de tokens y admite un contexto de hasta 1 millón de tokens. Está disponible como checkpoint final del preentrenamiento en Hugging Face. La versión flash de ERNIE 5.5 está dirigida a investigadores y desarrolladores que necesitan eficiencia computacional y capacidad para procesar contextos largos. No se ha confirmado la disponibilidad en Brasil.

Requiere acceso a Hugging Face y conocimientos técnicos para la adaptación de dominio. La versión flash es una evolución del modelo original, optimizada para su uso en entornos con recursos limitados. Baidu destaca que la versión flash mantiene la capacidad de procesar contextos largos, pero con una menor demanda de recursos computacionales. La disponibilidad en Hugging Face facilita el acceso al modelo, pero su presencia en Brasil aún no se ha confirmado.

La versión flash de ERNIE 5.5 es una alternativa al modelo completo, que tiene 280 mil millones de parámetros. Baidu no informó el precio de la versión en Brasil.

Los parámetros activados reducen el uso de memoria y aceleran la inferencia

Los parámetros activados reducen el uso de memoria y aceleran la inferencia: esto reduce el consumo de memoria y acelera el proceso de inferencia, lo que hace al modelo más eficiente. La capacidad de procesar hasta 1 millón de tokens permite que el modelo maneje datos complejos sin perder precisión. La versión flash también facilita la adaptación de dominio, lo cual es crucial para aplicaciones específicas, como resúmenes de documentos o análisis de sentimientos. La optimización de la arquitectura MoE dispersa y la inclusión de técnicas como la atención híbrida y MultiMax contribuyen a esta eficiencia.

La arquitectura MoE dispersa permite que el modelo ejecute tareas con menor uso de recursos y mantenga el rendimiento sin cargar todos los parámetros simultáneamente. Su disponibilidad en Hugging Face también simplifica la integración en proyectos de investigación, incluso sin acceso directo al ecosistema de Baidu. La versión flash de ERNIE 5.5 está disponible como punto de control final del preentrenamiento, lo que permite a los usuarios trabajar con la versión optimizada sin perder la potencia de la versión completa.

Texto escrito con IA a partir de las fuentes citadas y revisado por las reglas automáticas de la redacción. Cómo trabajamos

• #software
• #ia