Pesquisadores do MIT apresentam um novo sistema de visão computacional que transforma qualquer objeto brilhante em uma espécie de câmera: permitindo que o observador veja em cantos ou atrás de obstáculos.

Informações valiosas e muitas vezes ocultas sobre os arredores imediatos de uma pessoa podem ser obtidas a partir do reflexo do objeto. Ao reaproveitá-los como câmeras, é possível realizar proezas antes inimagináveis, como olhar através das paredes ou para o céu. Isso é desafiador porque muitos fatores influenciam as reflexões, incluindo a geometria do objeto, as propriedades do material, o ambiente 3D e o ponto de vista do observador. Ao desconstruir a geometria de um objeto e clareá-lo internamente a partir da radiação especular que se reflete nele, os humanos podem obter pistas e inferências profundas sobre as partes ocultas do ambiente circundante.

Pesquisadores de visão computacional do MIT e Rice desenvolveram uma maneira de usar reflexões para produzir imagens do ambiente real. Usando reflexos, eles transformam objetos brilhantes em “câmeras”, dando a impressão de que o usuário está olhando o mundo através das “lentes” de itens comuns, como uma xícara de café de cerâmica ou um pisa-papéis de metal.

O método usado pelos pesquisadores envolve transformar objetos brilhantes de geometria indefinida em câmeras de campo de radiação. A ideia principal é usar a superfície do objeto como um sensor digital para registrar a luz refletida do ambiente circundante em duas dimensões.

Os pesquisadores explicam que a nova visão sintetiza, apresentando novas perspectivas que são visíveis apenas diretamente para o objeto brilhante na cena, mas não para o observador, graças à restauração dos campos de radiação do ambiente. Além disso, podemos imaginar aglomerados gerados por objetos próximos na cena usando campo de radiação. O método desenvolvido pelos pesquisadores é ensinado de ponta a ponta, usando várias fotografias do objeto para estimar simultaneamente sua geometria, radiação difusa e campo de radiação de seu ambiente 5D.

A pesquisa visa separar o objeto de seu reflexo para que o objeto “veja” o mundo como se fosse uma câmera e registre seu entorno. A visão computacional lutou com os reflexos por algum tempo porque eles são uma representação 2D distorcida de uma cena 3D de forma desconhecida.

Os pesquisadores modelam a superfície do objeto como um sensor virtual e coletam a projeção bidimensional do campo de radiação do ambiente 5D ao redor do objeto para criar uma representação tridimensional do mundo visto pelo objeto. A maior parte do campo de radiação do ambiente é bloqueada, exceto pelos reflexos do objeto. Além do campo de visão, sintetizar a exibição do romance, ou apresentar novas perspectivas que são diretamente visíveis apenas para o objeto brilhante na cena, mas não para o observador, é possível através do uso de campos de radiação do ambiente, que também permitem para a estimativa de profundidade e luminosidade do objeto para seus arredores.

Resumindo, a equipe fez o seguinte:

• Eles mostram como superfícies tácitas podem ser transformadas em sensores virtuais com a capacidade de obter imagens 3D de seus ambientes usando apenas cones virtuais.
• Juntos, eles calculam o campo de radiação circundante 5D do objeto e estimam sua radiação difusa.
• Eles mostram como usar o campo de luz do ambiente circundante para gerar novas perspectivas invisíveis ao olho humano.

Este projeto visa reconstruir o campo de radiação pentadimensional do oceano a partir de muitas fotografias de um elemento brilhante de forma e albedo desconhecidos. O brilho de superfícies reflexivas revela elementos de uma cena fora do campo de visão. Especificamente, as regras da superfície e a curvatura do objeto brilhante determinam como as imagens do observador são mapeadas no mundo real.

Os pesquisadores podem precisar de informações mais precisas sobre a forma do objeto ou realidade refletida, o que contribui para a distorção. Também é possível que a cor e a textura de um objeto brilhante se misturem com os reflexos. Além disso, não é fácil discernir profundidade em cenas refletidas porque as reflexões são projeções bidimensionais de um ambiente tridimensional.

A equipe de pesquisadores superou esses obstáculos. Eles começam fotografando o objeto brilhante de diferentes ângulos, capturando uma variedade de reflexos. Orca (Objects Like Radiance-Field Cameras) é um acrônimo para seu processo de três estágios.

O Orca pode registrar reflexos de múltiplas visualizações ao gerar imagens do objeto de diferentes ângulos, que são então usados ​​para estimar a profundidade entre o objeto brilhante e outros objetos na cena e a forma do próprio objeto brilhante. Mais informações sobre a força e a direção dos raios de luz que chegam e atingem cada ponto da imagem são capturadas pelo modelo de campo de radiação 5D da ORCa. Orca pode fazer estimativas de profundidade mais precisas graças aos dados neste campo de radiação 5D. Como a cena é renderizada como um campo de radiação 5D em vez de uma imagem 2D, o usuário pode ver detalhes que seriam obscurecidos por ângulos ou outras obstruções. Os pesquisadores explicam que, uma vez que o ORCa tenha coletado o campo de radiação 5D, o usuário pode colocar uma câmera virtual em qualquer lugar da área e criar a imagem sintética que a câmera produzirá. O usuário também pode alterar a aparência de um item, por exemplo, de cerâmica para metal, ou incorporar objetos virtuais à cena.

Ao estender a definição do campo de radiação além do campo de radiação da linha de visão tradicional, os pesquisadores podem abrir novos caminhos para investigar o ambiente e os objetos dentro dele. Utilizando larguras e profundidades virtuais projetadas, a obra pode abrir possibilidades na inserção de objetos virtuais e na percepção 3D, como extrapolar informações de fora do campo de visão da câmera.

digitalizar o papel E página do projeto. Não se esqueça de participar 22k + ML Sub RedditE canal do discórdiaE E Noticiário por e-mail, onde compartilhamos as últimas notícias de pesquisa de IA, projetos interessantes de IA e muito mais. Se você tiver alguma dúvida sobre o artigo acima ou se esquecemos de algo, sinta-se à vontade para nos enviar um e-mail para [email protected]

🚀 Confira 100’s AI Tools no AI ​​Tools Club