A Google quer levar a pesquisa multimédia para dentro do próprio dispositivo. O novo EmbeddingGemma 2 é um modelo de IA de código aberto que consegue relacionar texto, imagens, áudio, vídeo e código, permitindo pesquisar informação localmente e sem ligação à internet.
Procurar um momento específico num vídeo através de uma frase dita numa gravação de voz ou encontrar, entre horas de áudio, uma determinada passagem escrevendo algumas palavras. É este tipo de pesquisa multimédia que a Google quer tornar possível diretamente em telemóveis e computadores com o novo EmbeddingGemma 2.
O modelo de IA transforma diferentes tipos de informação – texto, imagens, áudio, vídeo e código -num espaço comum, criando relações entre conteúdos de formatos diferentes. Assim, uma pesquisa em texto pode encontrar um excerto de vídeo ou áudio relacionado, sem que os ficheiros tenham de sair do dispositivo.
A segunda geração do EmbeddingGemma foi construída com a arquitetura Gemma 4 e tem 740 milhões de parâmetros e revelada pela Google a 6 de outubro. Apesar das capacidades multimédia, foi concebida para funcionar com recursos relativamente limitados. Num Pixel 11 Pro, por exemplo, pode usar cerca de 191 MB de memória RAM na versão apenas para texto e cerca de 567 MB quando são usadas todas as capacidades multimédia.
O modelo tem ainda uma janela de contexto de 8.000 tokens, quatro vezes superior à da primeira versão. Numa única operação pode processar até 5,5 minutos de áudio, 29 imagens ou 58 fotogramas de vídeo, incluindo combinações destes formatos.
Veja o vídeo onde Sebastian Russo, Ivan Llanos e Sahil Dua da Google DeepMind apresentam o EmbeddingGemma 2
A Google destaca também as vantagens para a privacidade: como os embeddings podem ser gerados localmente, aplicações de pesquisa e sistemas de RAG podem funcionar sem enviar os dados para servidores externos. Em conjunto com o Gemma 4, o EmbeddingGemma 2 pode localizar informação armazenada no dispositivo e permitir que outro modelo de IA a analise para produzir respostas fundamentadas.
O modelo é disponibilizado sob a licença Apache 2.0 e pode ser descarregado através do Hugging Face e do Kaggle. A Google disponibilizou ainda um developer guide e documentação para quem quiser experimentar o EmbeddingGemma 2.
(Teksapo)