Google lançou o aplicativo AI Edge Gallery, AI que funciona completamente offline no telefone.

O Google acabou de lançar silenciosamente a AI Edge Gallery a partir de 31/5, uma aplicação de IA que pode ser utilizada diretamente no smartphone, sem necessidade de internet ou partilha de dados com os servidores das grandes tecnologias.

• Aplicação de código aberto (Apache 2.0) já disponível no GitHub, começando com Android, iOS a ser lançado.
• Executar modelos de IA como Gemma 3n totalmente offline, processando desde análise de imagem até escrita de código apenas usando hardware de telefone.
• As principais funcionalidades incluem: AI Chat (conversar), Ask Image (análise de imagem), Prompt Lab (tarefas únicas como reescrever texto).
• Os utilizadores podem carregar modelos do Hugging Face, mas estão limitados ao formato .task, não suportando tanto quanto os concorrentes.
• Desempenho: Modelo pequeno que funciona rápido, suave (~20 tokens/segundo CPU, mais de 100 tokens/segundo GPU), atende bem como o GPT-3.5 da primeira geração.
• Grande vantagem: não precisa de rede, alta segurança, adequado para usuários que precisam manter dados privados, como médicos, jornalistas.
• Limitações: grande memória (modelo grande de aproximadamente 4,4 GB), limite de janela de contexto 4096 tokens, modelo ainda não diversificado, GPU às vezes menos precisa que a CPU.
• Não precisa se preocupar com a censura rigorosa como nos serviços centralizados, pode usar um jailbreak simples.
• Economize custos porque não há taxas de nuvem, use apenas recursos do telefone.

Em suma, o aplicativo é adequado para pessoas que precisam de IA de segurança, sem conexão à internet, ou para testar modelos de IA offline, embora a velocidade e a experiência ainda não possam ser comparadas aos serviços de IA em nuvem modernos.