La nueva investigaci√≥n “sombreada” del MIT utiliza sombras para ver qu√© c√°maras no pueden


La nueva investigación

La inteligencia artificial pronto podr√≠a ayudar a las c√°maras de video a ver mentiras m√°s all√° de lo que la lente puede ver, mediante el uso de sombras. Investigadores del Laboratorio de Ciencias de la Computaci√≥n e Inteligencia Artificial (CSAIL) del MIT han inventado un algoritmo que “ve” lo que est√° fuera del cuadro de video al analizar las sombras y el sombreado que crean los objetos fuera de la vista. La investigaci√≥n, Blind Inverse Light Transport by Deep Matrix Factorization, se public√≥ hoy, 6 de diciembre.

El algoritmo funciona casi como leer títeres de sombras a la inversa: la computadora ve la sombra en forma de conejito y luego puede crear una estimación del objeto que creó esa sombra. La computadora no sabe cuál es ese objeto, pero puede proporcionar un bosquejo de la forma.

Los investigadores utilizaron sombras y geometr√≠a para ense√Īar al programa c√≥mo predecir el transporte de luz o c√≥mo se mueve una luz en una escena. Cuando la luz golpea un objeto, se dispersa, creando sombras y reflejos. El equipo de investigaci√≥n trabaj√≥ para “descifrar” esa luz del patr√≥n de sombreado, sombras y reflejos. El refinamiento adicional ayud√≥ a la computadora a estimar la forma m√°s plausible de todas las posibilidades potenciales.

Con una comprensi√≥n de c√≥mo se mueve la luz, el algoritmo puede crear una reconstrucci√≥n aproximada del objeto que cre√≥ esa sombra, a pesar de que el objeto en s√≠ no est√° realmente en el video. El algoritmo se basa en dos redes neuronales, una para “descifrar” y otra para generar la alimentaci√≥n de video de c√≥mo se ve ese objeto.

El algoritmo crea una silueta pixelada de la forma y cómo se mueve esa forma. Eso no es suficiente para crear una cámara espía que vea las esquinas, pero ayuda a hacer esas escenas desde CSI donde los investigadores sacan detalles que antes no estaban allí, un poco más plausibles.

Los investigadores sugieren que, con un mayor refinamiento, la tecnolog√≠a podr√≠a usarse para aplicaciones como mejorar la visi√≥n de los autos sin conductor. Al leer la informaci√≥n de la sombra, el autom√≥vil podr√≠a ver un objeto a punto de cruzar la carretera antes de que incluso entre en el campo de visi√≥n de la c√°mara. Esa aplicaci√≥n a√ļn est√° muy lejos: los investigadores dicen que el proceso actualmente toma alrededor de dos horas para reconstruir un objeto misterioso.

La investigaci√≥n se basa en un trabajo similar de otros investigadores del MIT que utilizaron l√°seres especiales para ver lo que una c√°mara no pod√≠a. La nueva investigaci√≥n funciona sin ning√ļn equipo adicional m√°s all√° de la c√°mara, la computadora y el software.