Qualcomm adapta modelo de IA de 300 bilhões de parâmetros para smartphones

A Qualcomm adaptou o modelo StepEdge-Omni 30B-MoE para rodar em smartphones. A técnica MoE reduz a demanda de memória em mais de 50%. O modelo permite execução sem uso de nuvem.

O modelo, com 300 bilhões de parâmetros, usa a técnica MoE para ativar apenas parte do modelo, reduzindo a carga de cálculo. A redução de memória é de mais de 50%, permitindo execução em dispositivos sem uso de nuvem. A preenchimento pré-token é de 330 tokens/s e decodificação de 28 tokens/s.

A Qualcomm destacou que o modelo pode realizar tarefas como compreensão de e-mails, planejamento de viagens e sugestões de hospedagem. A parceria com StepEdge, Wulanghuo e Jiangbolong foi anunciada para adaptar o modelo ao Snapdragon 8 Ultra. A Huawei também revelou novas tecnologias de IA em Shanghai, como a arquitetura SuperPoD e a tecnologia UnifiedBus.

A parceria inclui adaptações para o Snapdragon 8 Ultra, que suporta a execução do modelo em smartphones. A Huawei, por sua vez, apresentou em Shanghai sua arquitetura SuperPoD e a tecnologia UnifiedBus, que conectam até 4.000 processadores com conexões ópticas rápidas e eficientes. Essas inovações refletem a corrida pela eficiência em inteligência artificial, com empresas como Darktrace oferecendo soluções de segurança para monitorar o uso corporativo da tecnologia.

Ficha técnica

Velocidade e eficiência no processamento de texto

A velocidade de decodificação também ajuda a responder perguntas com menos atraso. A redução de memória permite que o modelo funcione em dispositivos com menos capacidade. O modelo pode compreender e-mails, planejar viagens e sugerir hospedagem, o que facilita a rotina do usuário.

A parceria com Jieyu, Wulanghuo e Jiangbolong permitiu ajustar o modelo para o Snapdragon 8 Ultra, garantindo desempenho em dispositivos móveis. Essa adaptação abre espaço para novas aplicações sem depender da nuvem.

A Qualcomm está desenvolvendo modelos de IA para dispositivos móveis em parceria com empresas como StepEdge, Wulanghuo e Jiangbolong. A Huawei também está lançando novas tecnologias de IA para reduzir a dependência de componentes da Nvidia. A parceria entre Qualcomm e StepEdge mostra como a indústria está se movendo para integrar IA em dispositivos móveis de forma eficiente.

A parceria entre Qualcomm e StepEdge é parte de uma tendência maior de integrar IA em dispositivos móveis, com empresas como Wulanghuo e Jiangbolong também envolvidas. A Huawei, por sua vez, está desenvolvendo tecnologias próprias para minimizar a dependência de componentes da Nvidia, reforçando a competição na área. A expansão da IA para dispositivos móveis está acelerando, com soluções de segurança como a SECURE AI da Darktrace ajudando a monitorar o uso corporativo dessa tecnologia.

IA ajuda a prever ameaças inesperadas

McCall McIntyre, da OpenAI, disse que trabalhar com parceiros como o Darktrace é "crítico para transformar avanços em IA em defesas mais fortes e práticas" (em tradução livre). A colaboração ajuda a traduzir inovações em ferramentas reais contra ameaças. O Darktrace desenvolve capacidades sob o programa SECURE AI, disponível desde fevereiro.

A Qualcomm adapta modelo de IA de 300 bilhões de parâmetros para rodar em smartphones sem nuvem, usando técnica MoE que corta demanda de memória em mais de 50%. Isso permite que aplicações como compreensão de e-mails e planejamento de viagens rodem com latência menor e privacidade maior. A tecnologia pode transformar como a IA é usada em dispositivos móveis, sem depender de internet.

A parceria com StepEdge, Wulanghuo e Jiangbolong acelera essa evolução. Essa tecnologia reduz o consumo energético, permitindo que o modelo opere em chips de baixo consumo. A parceria com Jieyu, Wulanghuo e Jiangbolong também visa adaptar o modelo ao Snapdragon 8 Ultra, ampliando a disponibilidade em novos dispositivos.

Mais imagens

• #hardware
• #software