Qualcomm adapta modelo de IA de 300 bilhões de parâmetros para smartphones

A Qualcomm adaptou o modelo StepEdge-Omni 30B-MoE para rodar em smartphones. A técnica MoE reduz a demanda de memória em mais de 50%. O modelo permite execução sem uso de nuvem.

A preenchimento pré-token é de 330 tokens/s e decodificação de 28 tokens/s. A Qualcomm destacou que o modelo pode realizar tarefas como compreensão de e-mails, planejamento de viagens e sugestões de hospedagem. A parceria com StepEdge, Wulanghuo e Jiangbolong foi anunciada para adaptar o modelo ao Snapdragon 8 Ultra. A Huawei também revelou novas tecnologias de IA em Shanghai, como a arquitetura SuperPoD e a tecnologia UnifiedBus.

A parceria inclui adaptações para o Snapdragon 8 Ultra, que suporta a execução do modelo em smartphones. A Huawei, por sua vez, apresentou em Shanghai sua arquitetura SuperPoD e a tecnologia UnifiedBus, que conectam até 4.000 processadores com conexões ópticas rápidas e eficientes. Essas inovações refletem a corrida pela eficiência em inteligência artificial, com empresas como Darktrace oferecendo soluções de segurança para monitorar o uso corporativo da tecnologia.

Velocidade e eficiência no processamento de texto

A velocidade de decodificação também ajuda a responder perguntas com menos atraso. A redução de memória permite que o modelo funcione em dispositivos com menos capacidade. A parceria com Jieyu, Wulanghuo e Jiangbolong permitiu ajustar o modelo para o Snapdragon 8 Ultra, garantindo desempenho em dispositivos móveis. Essa adaptação abre espaço para novas aplicações sem depender da nuvem.

A Qualcomm está desenvolvendo modelos de IA para dispositivos móveis em parceria com empresas como StepEdge, Wulanghuo e Jiangbolong. A Huawei também está lançando novas tecnologias de IA para reduzir a dependência de componentes da Nvidia. A parceria entre Qualcomm e StepEdge mostra como a indústria está se movendo para integrar IA em dispositivos móveis de forma eficiente.

A parceria entre Qualcomm e StepEdge é parte de uma tendência maior de integrar IA em dispositivos móveis, com empresas como Wulanghuo e Jiangbolong também envolvidas. A expansão da IA para dispositivos móveis está acelerando, com soluções de segurança como a SECURE AI da Darktrace ajudando a monitorar o uso corporativo dessa tecnologia.

IA ajuda a prever ameaças inesperadas

McCall McIntyre, da OpenAI, disse que trabalhar com parceiros como o Darktrace é "crítico para transformar avanços em IA em defesas mais fortes e práticas" (em tradução livre).

A colaboração ajuda a traduzir inovações em ferramentas reais contra ameaças. O Darktrace desenvolve capacidades sob o programa SECURE AI, disponível desde fevereiro. A Qualcomm adapta modelo de IA de 300 bilhões de parâmetros para rodar em smartphones sem nuvem, usando técnica MoE que corta demanda de memória em mais de 50%. A tecnologia pode transformar como a IA é usada em dispositivos móveis, sem depender de internet.

A parceria com StepEdge, Wulanghuo e Jiangbolong acelera essa evolução. Essa tecnologia reduz o consumo energético, permitindo que o modelo opere em chips de baixo consumo.

Preço e disponibilidade no Brasil não informados

Preço e data no Brasil não informados
Detalhes sobre o modelo de IA, seus recursos e custos não informados
Não há informações sobre o anúncio de HighTech em fontes primárias ou especializadas

Com informações de phone.cnmo.com, ithome.com e scmp.com.