Qualcomm adapte un modèle d'IA de 300 milliards de paramètres pour les smartphones

Qualcomm a adapté le modèle StepEdge-Omni 30B-MoE pour qu'il fonctionne sur smartphone. La technique MoE réduit les besoins en mémoire de plus de 50 %. Le modèle peut s'exécuter sans recourir au cloud.

Le préremplissage (prefill) atteint 330 tokens/s et le décodage 28 tokens/s. Qualcomm a souligné que le modèle peut accomplir des tâches telles que la compréhension d'e-mails, la planification de voyages et des suggestions d'hébergement. Le partenariat avec StepEdge, Wulanghuo et Jiangbolong a été annoncé pour adapter le modèle au Snapdragon 8 Ultra. Huawei a également dévoilé à Shanghai de nouvelles technologies d'IA, comme l'architecture SuperPoD et la technologie UnifiedBus.

Le partenariat comprend des adaptations pour le Snapdragon 8 Ultra, qui prend en charge l'exécution du modèle sur smartphone. De son côté, Huawei a présenté à Shanghai son architecture SuperPoD et sa technologie UnifiedBus, qui relient jusqu'à 4 000 processeurs grâce à des connexions optiques rapides et efficaces. Ces innovations reflètent la course à l'efficacité en intelligence artificielle, avec des entreprises comme Darktrace proposant des solutions de sécurité pour surveiller l'usage de cette technologie en entreprise.

Vitesse et efficacité dans le traitement de texte

La vitesse de décodage permet aussi de répondre aux questions avec moins de latence. La réduction de la mémoire permet au modèle de fonctionner sur des appareils dotés de moins de capacité. Le partenariat avec Jieyu, Wulanghuo et Jiangbolong a permis d'ajuster le modèle pour le Snapdragon 8 Ultra, garantissant des performances sur les appareils mobiles. Cette adaptation ouvre la voie à de nouvelles applications sans dépendre du cloud.

Qualcomm développe des modèles d'IA pour appareils mobiles en partenariat avec des entreprises comme StepEdge, Wulanghuo et Jiangbolong. Huawei lance également de nouvelles technologies d'IA pour réduire la dépendance aux composants de Nvidia. Le partenariat entre Qualcomm et StepEdge montre comment l'industrie s'oriente vers une intégration efficace de l'IA dans les appareils mobiles.

Le partenariat entre Qualcomm et StepEdge s'inscrit dans une tendance plus large d'intégration de l'IA dans les appareils mobiles, avec la participation d'entreprises comme Wulanghuo et Jiangbolong. L'expansion de l'IA vers les appareils mobiles s'accélère, avec des solutions de sécurité comme SECURE AI de Darktrace, qui aident à surveiller l'usage de cette technologie en entreprise.

L'IA aide à anticiper les menaces inattendues

Cette collaboration contribue à traduire les innovations en outils concrets contre les menaces. Darktrace développe des capacités dans le cadre du programme SECURE AI, disponible depuis février. Qualcomm adapte un modèle d'IA de 300 milliards de paramètres pour qu'il fonctionne sur smartphone sans cloud, grâce à une technique MoE qui réduit les besoins en mémoire de plus de 50 %. Cette technologie pourrait changer la façon dont l'IA est utilisée sur les appareils mobiles, sans dépendre d'internet.

Le partenariat avec StepEdge, Wulanghuo et Jiangbolong accélère cette évolution. Cette technologie réduit la consommation d'énergie, ce qui permet au modèle de fonctionner sur des puces à faible consommation.

D'après des informations de phone.cnmo.com, ithome.com et scmp.com.

Texte rédigé avec l'IA à partir des sources citées et vérifié par les règles automatiques de la rédaction. Notre méthode

• #hardware
• #software