amaneciendo.com.mx Tu ventana al mundo
La herramienta basada en IA puede crear ‘recortes’ o segmentos de diferentes partes de una imagen. Esto resulta útil tanto para la edición de fotos como para el análisis de imágenes en ámbitos biológicos y de seguridad. IA de Meta.
Este anuncio se produce mientras el gigante de las redes sociales desvía cada vez más su atención de la creación de un metaverso basado en la realidad virtual para integrar funciones de IA en sus plataformas como Instagram, Facebook, Messenger y WhatsApp.
La edición de fotos, el análisis de imágenes de vigilancia y la comprensión de las partes de una célula tienen algo en común: es necesario poder identificar y separar diferentes objetos dentro de una imagen. Tradicionalmente, los investigadores han tenido que comenzar desde cero cada vez que desean analizar una nueva parte de una imagen.
Meta tiene como objetivo cambiar este proceso laborioso al convertirse en el lugar de referencia para investigadores y desarrolladores web que trabajan en este tipo de problemas. El miércoles, la compañía lanzó un modelo de IA llamado ‘Modelo de Segmentación Cualquier Cosa’ o ‘SAM’, a través del cual los usuarios pueden crear ‘recortes’ o segmentos de cualquier elemento en una imagen haciendo clic en un punto o dibujando un cuadro alrededor del objeto. Esta herramienta se puede utilizar con fines de investigación, para la edición creativa e incluso para comprender objetos mientras se usa un visor de realidad virtual, lo que agiliza y mejora la tarea de dividir diferentes partes de una imagen.
La empresa de tecnología lanzó esta herramienta basada en el navegador al público y también ha compartido el modelo de visión por computadora como código abierto. Según afirma, este modelo se ha entrenado con ‘el conjunto de datos de segmentación más grande’ que incluye 1.100 millones de máscaras de segmentación (las ‘máscaras’ son las diferentes partes de una imagen) y 11 millones de imágenes con licencia de una gran empresa de fotografía. Meta no reveló de qué empresa obtuvo las imágenes. El equipo de investigación en inteligencia artificial de Meta trabajó con 130 anotadores humanos con sede en Kenia para crear el conjunto de datos, que se realizó mediante una combinación de etiquetado manual y automático de miles de millones de partes de imágenes.
Las tecnologías de reconocimiento de objetos y visión por computadora existen desde hace años y ya están integradas en diversos dispositivos, como cámaras de vigilancia y drones. Por ejemplo, las tiendas de Amazon utilizan el reconocimiento de objetos para detectar los artículos que colocas en tu cesta, y los vehículos autónomos lo utilizan para percibir su entorno. Tanto startups como Runway como empresas consolidadas como Adobe han comercializado su capacidad para utilizar IA para detectar y seleccionar diferentes objetos dentro de una imagen para sus usuarios creativos. A medida que han surgido chatbots generativos de IA llamativos, el objetivo de los investigadores de IA en Meta era combinar el avance en modelos fundamentales de IA con el inactivo ámbito de las tecnologías de visión por computadora.
‘No diría que esta es un área nueva de tecnología. La segmentación de objetos ya existe, así que no diría que esta es una capacidad nueva. Fundamentalmente, creo que su enfoque de utilizar modelos fundamentales es nuevo y el tamaño del conjunto de datos en el que se están capacitando podría ser novedoso’, comenta Paul Powers, CEO y fundador de Physna, un motor de búsqueda de objetos en 3D.
Pero lo que espera Meta es que al poner estas herramientas a disposición de más personas, se anime a los usuarios a desarrollar aplicaciones específicas basadas en su modelo generalizado en campos como la biología y la agricultura.
Este anuncio se produce al mismo tiempo que Meta supuestamente planea utilizar IA generativa para publicidad en Instagram y Facebook. No queriendo perderse el auge de la IA, a fines de febrero, el CEO Mark Zuckerberg anunció que está creando un nuevo equipo de productos enfocado exclusivamente en el desarrollo de herramientas de IA generativa, como personas artificiales, filtros de Instagram y funciones de chat en WhatsApp e Instagram. Se informa que Zuckerberg pasa la mayor parte de su tiempo con el nuevo equipo de IA.
La herramienta SAM está diseñada para aquellos que no tienen la infraestructura de IA ni la capacidad de datos para crear sus propios modelos para ‘segmentar’ o identificar diferentes componentes de una imagen, según los investigadores de Meta AI, Alexander Kirillov y Nikhila Ravi. ‘Esto ocurre en tiempo real en el navegador, lo que hace que este modelo sea mucho más accesible para muchas más personas, porque no necesitan poder ejecutar muchas cosas en una GPU… Podemos habilitar muchos casos de uso adicionales que otros métodos podrían no permitir’, dice Ravi.
Sin embargo, existen limitaciones en un modelo de visión por computadora entrenado con una base de datos de imágenes bidimensionales, señala Powers. Por ejemplo, para que la herramienta pueda detectar y seleccionar un control remoto sostenido al revés, debería haber sido entrenada con diferentes orientaciones del mismo objeto. Los modelos entrenados en imágenes 2D no ayudarán a detectar imágenes parcialmente cubiertas o parcialmente expuestas, afirma. Esto significa que no identificaría de manera precisa objetos no estandarizados a través de un visor de realidad aumentada o virtual, ni detectaría objetos parcialmente cubiertos en espacios públicos si fuera utilizado por un fabricante de vehículos autónomos.
Para la compañía, que cambió su nombre de Facebook a Meta a finales de 2021 y reafirmó su compromiso con el metaverso, el uso más evidente de esta herramienta de detección de objetos se encuentra en sus espacios de realidad virtual, como su juego en línea Horizon Worlds. Kirillov y Ravi afirman que su herramienta de detección de objetos se puede utilizar para la detección ‘basada en la mirada’ de objetos a través de visores de realidad virtual y realidad aumentada.
El modelo puede detectar objetos desconocidos y trabajar en diferentes dominios, como imágenes submarinas, microscópicas, aéreas y agrícolas. Kirillov comenta que se inspiró para crear un modelo generalizado de segmentación de imágenes mientras hablaba con investigadores de doctorado. ‘Estaba dando una presentación sobre segmentación a algunos científicos naturales en Berkeley y la gente decía ‘Está bien, esto es genial, pero necesito contar e identificar árboles en las fotos que he recolectado para mi investigación sobre incendios en California’, y este modelo puede hacer eso por ellos’, cuenta Kirillov.
