Работа основывалась на предыдущих исследованиях, где нейросеть научили адаптировать отдельные изображения под разные художественные стили. Новый алгоритм делает то же самое, но для каждого кадра видео в отдельности, которые потом соединяет, пишет издание.
В алгоритм также добавили код, устраняющий артефакты при обработке и смягчающий переходы между разными кадрами, чтобы они были больше похожи друг на друга для более плавной анимации.
Ученые опубликовали видео с демонстрацией того, как работает нейросеть:Алгоритм уже используют художники – например, Данил Криворучко из Нью-Йорка:
Ученые также опубликовали файлы нейросети и инструкцию по ее использованию на GitHub. Отметим, что нейросеть довольно требовательна к видеокарте устройства – например, для обработки видео с разрешением 450x350 пикселей потребуется графический процессор с 4 гигабайтами видеопамяти.
Ранее в стремительно набравшем популярность российском мобильном приложении Prisma, которое использует нейросеть для обработки фото под различные художественные фильтры, так же была анонсирована функция стилизации видео. Когда именно она появится в приложении и насколько требовательна будет к устройствам – пока неизвестно.