Разработанный метод получил название «подрисовывание изображения» и по принципу работы похож на «автоматическую заливку с учетом содержимого» (Content-Aware Autofill), которая содержится в Photoshop.
Алгоритм нейронной сети от Nvidia способен обрабатывать области различных форм и размеров, понимать контекст фотографии или картинки, и самостоятельно изменять его, восстанавливая удаленную часть на основе фона изображения.
В компании рассказали, что обучили нейронную сеть, используя более 55 тысяч фотошаблонов. Для этого они специально удаляли некоторые детали исходных изображениq, показывали алгоритму вырезанный фрагмент и его первоначальную форму, чтобы обучить его, как надо восстанавливать недостающие элементы.