Gemini ahora puede "ver" pantallas y transmisiones de cámara en tiempo real

La IA de Google da un salto significativo con la implementación de nuevas funciones en Gemini Live, permitiendo la interpretación en tiempo real de la pantalla del usuario y la transmisión de video en vivo a través de la cámara del teléfono.

Google ha comenzado a desplegar nuevas capacidades de inteligencia artificial en su asistente Gemini Live, integrando una interacción más fluida y natural con el usuario. Ahora, la IA no solo puede "leer" la pantalla de un dispositivo en tiempo real, sino también analizar el entorno a través de la cámara del teléfono y proporcionar respuestas inmediatas basadas en lo que está viendo.

Estas innovaciones se basan en el trabajo previamente presentado en "Project Astra", un desarrollo de Google orientado a hacer que sus asistentes virtuales sean más intuitivos y eficientes. La funcionalidad de lectura de pantalla permite que Gemini analice el contenido visible en un dispositivo y ofrezca explicaciones o respuestas sin necesidad de capturas de pantalla o texto adicional.

Por otro lado, la capacidad de video en vivo abre nuevas posibilidades para la asistencia en tiempo real. Un ejemplo mostrado en una reciente demostración de Google es la elección de colores para una pieza de cerámica recién esmaltada, donde el usuario obtiene recomendaciones instantáneas de la IA al apuntar la cámara hacia la pieza. Este avance podría extenderse a otros usos como diagnóstico de problemas técnicos, asistencia en tareas domésticas o incluso aprendizaje en vivo.

La incorporación de video en tiempo real y la lectura de pantalla a Gemini Live no solo mejora la experiencia del usuario, sino que también redefine el papel de los asistentes virtuales en la vida cotidiana. La capacidad de interpretar información visual y proporcionar respuestas inmediatas marca un avance hacia una interacción más fluida y contextual con la tecnología.

Le puede interesar: Por fin: Google mejora con IA las búsquedas de correos en Gmail