Qualcomm adapta modelo de IA de 300 bilhões de parâmetros para smartphones
A Qualcomm adaptou o modelo StepEdge-Omni 30B-MoE para rodar em smartphones. A técnica MoE reduz a demanda de memória em mais de 50%. O modelo permite execução sem uso de nuvem. A preenchimento pré-token é de 330 tokens/s e decodificação de 28 tokens/s.
Reprodução/ithome.com
phone.cnmo.comFonte original5 fontes ✓Ler matéria: Qualcomm adapta modelo de IA de 300 bilhões de parâmetros para smartphonesFonte (abre em outra aba): phone.cnmo.com

























