O Google Fotos está recebendo uma infusão de IA com o lançamento de um recurso experimental, Ask Photos, desenvolvido pelo modelo Gemini AI do Google. A nova adição, que será lançada ainda neste verão, permitirá aos usuários pesquisar em sua coleção do Google Fotos usando consultas em linguagem natural que aproveitam a compreensão da IA sobre o conteúdo de suas fotos e outros metadados.
Embora antes os usuários pudessem pesquisar pessoas, lugares ou coisas específicas em suas fotos, graças ao processamento de linguagem natural, a atualização da IA tornará a localização do conteúdo certo mais intuitiva e menos um processo de pesquisa manual, anunciou o Google na terça-feira em seu conferência anual de desenvolvedores Google I/O 2024.
Por exemplo, em vez de procurar algo específico nas suas fotos, como “Torre Eiffel”, agora você pode pedir à IA para fazer algo muito mais complexo, como encontrar a “melhor foto de cada um dos Parques Nacionais que visitei”. A IA usa uma variedade de sinais para determinar o que torna a foto a “melhor” de um determinado conjunto, incluindo coisas como iluminação, desfoque, falta de distorção de fundo e muito mais. Pode então combinar isso com a sua compreensão da geolocalização de um conjunto de fotos ou datas para recuperar apenas as imagens tiradas nos Parques Nacionais dos EUA.
Este recurso se baseia no recente lançamento do Photo Stacks no Google Fotos, que agrupa fotos quase duplicadas e usa IA para destacar as melhores fotos do grupo. Tal como acontece com o Photo Stacks, o objetivo é ajudar as pessoas a encontrar as fotos que desejam à medida que suas coleções digitais crescem. Mais de 6 bilhões de imagens são enviadas diariamente para o Google Fotos, segundo o Google, para se ter uma ideia da escala.
Além disso, o recurso “Perguntar às fotos” permitirá que os usuários façam perguntas para obter outros tipos de respostas úteis. Além de pedir as melhores fotos de férias ou de algum outro grupo, os usuários podem fazer perguntas que exigem uma compreensão quase humana do que está em suas fotos.
Por exemplo, um pai poderia perguntar ao Google Fotos quais temas eles usaram nas últimas quatro festas de aniversário de seus filhos, e ele poderia retornar uma resposta simples junto com fotos e vídeos sobre os temas de sereia, princesa e unicórnio que foram usados anteriormente e quando.
Esse tipo de consulta é possível porque o Google Fotos não entende apenas as palavras-chave que você digitou, mas também os conceitos de linguagem natural, como “festa de aniversário temática”. Ele também pode aproveitar as habilidades multimodais da IA para entender se há texto em uma foto que possa ser relevante para a consulta.
Outro exemplo demonstrado à imprensa pelo CEO Sundar Pichai antes da conferência de desenvolvedores do Google I/O de hoje mostrou um usuário pedindo à IA que mostrasse o progresso de natação de seu filho. A IA reuniu destaques de fotos e vídeos da criança nadando ao longo do tempo.
Outro novo recurso utiliza a pesquisa para encontrar respostas no texto das fotos. Dessa forma, você poderia tirar uma foto de algo que gostaria de lembrar mais tarde – como sua placa ou número de passaporte – e depois pedir à IA para recuperar essas informações quando você precisasse delas.
Se a IA errar e você corrigir – talvez sinalizando uma foto que não seja de uma festa de aniversário ou uma que você não destacaria de suas férias – ela se lembrará dessa resposta para melhorar com o tempo. Isso também significa que a IA se torna mais personalizada para você quanto mais tempo você interage com ela.
Quando você encontrar fotos que deseja compartilhar, a IA pode ajudar a redigir uma legenda que resuma o conteúdo das fotos. Por enquanto, este é um resumo básico, mas não oferece a opção de escolher entre estilos diferentes. (Mas considerando que ele está usando o Gemini nos bastidores, um prompt bem escrito pode funcionar para retornar um determinado estilo se você tentar.)
O Google diz que terá proteções para não responder em certos casos (talvez não peça à IA os “melhores nus”?). Também não incluiu conteúdo potencialmente ofensivo ao treinar o modelo. Mas o recurso está sendo lançado como um experimento, portanto, pode ser necessário adicionar controles adicionais ao longo do tempo, à medida que o Google responde à forma como as pessoas o colocam em uso.
O recurso Ask Photos será inicialmente suportado nos EUA em inglês antes de ser implementado em mais mercados. Por enquanto, também será apenas um recurso baseado em texto, semelhante a fazer perguntas a um chatbot de IA. Com o tempo, porém, ele poderá se integrar mais profundamente ao Gemini rodando no dispositivo, como no Android.
A empresa afirma que os dados pessoais dos usuários do Google Fotos não são usados para anúncios. Os humanos também não revisarão conversas de IA e dados pessoais no Ask Photos, exceto “em casos raros, para abordar abusos ou danos”, diz o Google. Os dados pessoais das pessoas no Google Fotos também não são usados para treinar nenhum outro produto de IA generativo, como o Gemini.
