Saiba o que acontece quando modelos de IA rodam em smartphones

O Google emitiu uma declaração intrigante no início de março, quando disse que entre seus dois novos telefones celulares, Pixel 8 e Pixel 8 Pro, apenas o Pixel 8 Pro pode rodar seu mais recente modelo de IA, “Google Gemini”. Embora as especificações dos dois telefones sejam muito semelhantes, o Google se recusou a rodar este modelo no Pixel 8. A empresa cita misteriosas “limitações de hardware” como o motivo. Isso é intrigante porque o Google sempre disse que o Pixel 8 é um telefone celular com IA como núcleo. A empresa disse ainda que projetou o modelo “Gemini Nano ” especificamente para celulares. Saiba o que acontece quando modelos de IA rodam em smartphones.

Recursos de IA em smartphones Google

Algumas semanas depois, o Google parecia estar cedendo, anunciando que forneceria o recurso “Gemini Nano” para o Pixel 8 na atualização trimestral de junho. No entanto, existe uma limitação. O Pixel 8 Pro pode usar esse recurso diretamente, enquanto o Pixel 8 só pode usá-lo por meio de uma opção oculta do desenvolvedor. Isso significa que a maioria dos usuários não conseguirá experimentar esse recurso facilmente.

Seang Chau, vice-presidente de software para dispositivos e serviços do Google, explicou a decisão em seu podcast “Made by Google”. Ele disse

O Pixel 8 Pro possui 12 GB de RAM, o que é perfeito para rodar o ‘Gemini Nano’, nos permitindo rodar o quanto quisermos. Explore seu potencial. Mas o Pixel 8 tem apenas 8 GB de RAM e, se você ativar esse recurso precipitadamente, isso poderá afetar a experiência do usuário.

Chau também explicou ainda o impacto da execução de modelos de linguagem grande (LLM) em telefones celulares. O Google espera que alguns modelos de IA possam ser “residentes na memória” e possam ser chamados a qualquer momento. Chau disse

A ‘Resposta Inteligente’ exige que o modelo resida na memória para garantir que esteja disponível a qualquer momento. Quando os usuários usam o Gboard para responder mensagens, eles não querem esperar o modelo carregar, então optamos por mantê-lo funcionando.

Por causa disso, o recurso “Resposta inteligente” do Gemini está oculto nas opções do desenvolvedor no Pixel 8 e no Pixel 8 Pro. Gemini não oferece suporte ao recurso “Resposta inteligente” nas configurações normais do teclado.

Gemini Nano usa uma grande memória

Com as declarações atuais do Google, fica claro que o Gemini Nano pode ocupar uma grande quantidade de memória do sistema. Além disso, liberar espaço quando o sistema está em execução não é fácil. A configuração mínima atual de memória para telefones Android é de 8 GB. No entanto, este padrão poderá ser aumentado ainda mais no futuro.

Atualmente, os celulares mais sofisticados do mercado já contam com 24 GB de memória. Além disso, os principais telefones convencionais geralmente vêm com 12 GB ou 16 GB de RAM. Assim, para celulares Android em geral, executar este sistema pode não ser um problema.

A IA generativa está no auge do ciclo de hype, e a vigorosa promoção da tecnologia de IA pelo Google também tem suas considerações. Embora o ChatGPT tenha o seu lugar, existem apenas alguns recursos de IA generativa em nível de sistema operacional verdadeiramente práticos. A capacidade de gerar respostas automaticamente não é necessária para a maioria dos usuários. Assim, os usuários podem optar por desligá-lo caso ele ocupe muita memória que poderia ser usada para outros aplicativos.