У методі EvTexture використовується окремий ітеративний модуль поліпшення текстури, який дає змогу отримувати інформацію про події з високою часовою роздільною здатністю. Цей модуль дає змогу поступово в кілька ітерацій уточнювати текстуру заданих областей і підвищувати їхню роздільну здатність.
Експериментальні результати показують, що EvTexture досягає найсучаснішої продуктивності на чотирьох наборах даних. Для набору даних Vid4 з багатими текстурами наш метод може отримати до 4,67 дБ виграшу порівняно з останніми методами, заснованими на подіях.
Порівняльні результати методів VSR на кліпі City у Vid4. Можна помітити, що сучасні методи VSR, з сигналами подій (EGVSR та EBVSR) або без них (BasicVSR++), все ще страждають від розмитих текстур або ефектів джиттера, що призводить до великих помилок у текстурних областях. На відміну від них, наш метод може успішно передбачати області текстури та значно зменшити помилки у відновлених кадрах.
(a) Методи на основі RGB зазвичай зосереджуються на нахилі руху, щоб відновити відсутні деталі з інших невирівняних кадрів. (b) Попередні методи на основі подій намагалися використовувати події для покращення навчання за рухом. (c) На відміну від них, наш метод вперше використовує події для покращення відновлення текстури у VSR. Червона пунктирна лінія – це необов’язкова гілка, де наш метод може легко адаптуватися до підходів, які використовують події для покращення навчання руху.
Архітектура мережі
(a) Наслідуючи BasicVSR, наш EvTexture використовує двонаправлену рекурентну мережу, де ознаки поширюються вперед і назад. На кожній часовій позначці вона включає гілку руху та паралельну гілку текстури, щоб явно покращити відновлення областей текстури. (b) У гілці текстури модуль ITE відіграє ключову роль. Він поступово вдосконалює функцію протягом декількох ітерацій, використовуючи високочастотну текстурну інформацію з подій разом із контекстною інформацією з поточного кадру.
Кількісні результати
Кількісне порівняння (PSNR↑/SSIM↑) на Vid4, REDS4 та Vimeo-90K-T для 4× VSR. Всі результати розраховані на Y-каналі, окрім REDS4 (RGB-канал). Типи вхідних даних “I” та “I+E” представляють методи на основі RGB та на основі подій відповідно. Червоним і синім кольорами позначено найкращі та другі найкращі результати відповідно.
Якісні результати
