Эксперимент по восстановлению старой анимации с помощью нейросетей

В своих предыдущих статьях я рассматривал методы апскейлинга и отмечал недостатки существующих инструментов, таких как NeatVideo и Topaz Video AI, которые часто не справляются с задачами старой анимации. В этом эксперименте, ограничившись видеокартой RTX 4060 Ti, я разработал симулятор уничтожения пленки для обучения легкой модели, способной распознавать физические дефекты изображений. Основой стал Real-ESRGAN Compact, который быстрее традиционных моделей, но имеет меньше параметров. Вместо повышения разрешения я сосредоточился на перерисовке текущих пикселей, что позволило создать специализированные инструменты для устранения дефектов. После множества итераций и доработок, я разработал несколько моделей, каждая из которых решает определенные проблемы старой пленки. Результаты показали, что комбинация различных подходов дает лучший результат в восстановлении изображений. Все материалы доступны в Open Source.