O impressionante projeto de upscaling de IA da Adobe faz com que vídeos chatos pareçam em alta definição

Os pesquisadores da Adobe desenvolveram um novo modelo de IA chamado VídeoGygagan Ele pode aprimorar vídeos desfocados em até oito vezes a resolução original. Foi apresentado em A Artigo publicado em 18 de abrilA Adobe afirma que o VideoGigaGAN supera outros métodos de super-resolução de vídeo (VSR) porque pode fornecer detalhes mais precisos sem introduzir qualquer “estranheza de IA” na filmagem.

Resumindo, as redes adversárias generativas (GANs) são eficazes no aumento de escala de imagens estáticas para uma resolução mais alta, mas têm dificuldade em fazer o mesmo com o vídeo sem introduzir cintilação e outros artefatos indesejados. Outros métodos de aumento de escala podem evitar isso, mas os resultados não são tão nítidos ou detalhados. VideoGigaGAN visa fornecer o melhor dos dois mundos – maior qualidade de imagem/vídeo para modelos GAN, com menos problemas de oscilação ou distorção nos quadros de saída. A empresa forneceu Vários exemplos aqui O que mostra seu trabalho em resolução máxima.

Alguns dos detalhes mais sutis nos clipes de demonstração fornecidos pela Adobe parecem bastante artificiais, como a textura da pele e as rugas no exemplo abaixo, mas os resultados parecem impressionantemente naturais. Seria difícil saber que a IA generativa foi usada para melhorar a resolução, o que poderia expandir a discussão sobre “o que é uma foto” para incluir o vídeo.

Esta é apenas uma prévia da pesquisa, portanto não há garantia de que a Adobe disponibilizará o VideoGigaGAN aos consumidores por meio de software Creative Cloud como o Premiere Pro. A empresa apresentou anteriormente uma experiência separada baseada em difusão, Project Res-Up, durante seu evento MAX em outubro de 2023, que melhora de forma semelhante a qualidade de GIFs e vídeos de baixa resolução. E a Adobe não está sozinha nesse trabalho, já que a Microsoft e a Nvidia também desenvolveram sua própria tecnologia VSR.