Старые выпуски и нейросети

[UnknDoomer]

Заметил, что определённое число лиц жалуется на то, что на старые выпуски сегодня без слёз не взглянешь . Что, пожалуй, действительно так. Без наличия старого телевизора и vhs/dvd-плеера под рукой нужно мириться с рассматриваем "квадратов" в среднем в 320, в лучшем случае 480p.

Некоторое время назад YouTube стал загружать старые клипы обработанные, на сколько понимаю, собственной нейросетью. Как итог 240-480p волшебным образом у них превращаются в 720-1080p. Может стоит попробовать тот же алгоритм опенсорсными средствами для Форта? Пока детально не вникал в вопрос и не пробовал, но собрал несколько ссылок:

1. Пример обработки «Тайна третьей планеты», статья на хабрахабр - https://habr.com/ru/post/449024/
2. https://www.reg.ru/blog/uluchshaem-graf ... ejrosetej/

"Нейросети для апскейлинга позволяют улучшить качество кат-сцен в играх или увеличить разрешение старых кинофильмов. Например, не так давно пользователь сайта «Хабрахабр» повысил разрешение мультфильма «Тайна третьей планеты» до 720P. Вы можете попробовать запустить скрипт https://www.reddit.com/r/GameUpscale/co ... le_script/ для покадрового улучшения качества видео с помощью ESRGAN или скачать проект video2x https://github.com/K4YT3X/video2x (для Windows), использующий Waifu2x."

Исходная статья - https://www.reddit.com/r/GameUpscale/co ... g_started/

https://drive.google.com/drive/folders/ ... vtdSBX1iaR

Например 11 выпуск за 1991 год в 240p. Есть ещё несколько таких в совсем плачевном разрешении. Интересно было бы на нём проверить теорию.

[UnknDoomer]

3. Другой пример обработки - http://www.habr.com/ru/post/438886
4. Платное по - http://www.svp-team.com/wiki/Main_Page Рекомендуют поискать версию 3.1.7а.

http://www.github.com/nagadomi/waifu2x

[UnknDoomer]

"А что там сложного? По ссылке просто указан список ПО, с помощью которого можно увеличивать изображение. Я, к примеру, Waifu2x использую, правда для убирания шумов, но он и upscale так же умеет.

Вся процедура проста:
1) Сохраняем видео покадрово в png.
2) Каждое изображение прогоняем через любую из предложенных по ссылке нейросеток.
3) Склеиваем изображения обратно в видеопоток.
4)…
5) PROFIT!"


"Толку от четкости, если мерцание и «тряска» остались.
Для полной реставрации нужно выровнять кадры по яркости, пройтись «дешейкером». Ну и потом Smooth Video Pack — до 60фпс — для полного совершенства.
Вот автоматизировать — это было бы дело.".


"Берем фотошоп, создаем холст с размерами исходного объекта, прямо в него закидываем перетаскиванием видео, добавляем если нужно эффекты, апскейлим, смотрим прямо в Фотошопе если лень выгонять avi. Если комп мощный даже не тормозит. Я так когда то экранки убитого качества смотрел, с наложением фильтра Shadows|Highlites
habrastorage.org/webt/nf/wz/-h/nfwz-hslcnhsozwxmtqpm5rkpo8.jpeg"


5. http://www.infognition.com/super_resolution_avisynth/

"Именно этот движок и хочу посоветовать, в виде Video Enhancer (при желании можно найти Video Enhancer 1.9.10.1, иначе Trial рисует водяной знак, в том числе и в Avisynth). Работает довольно быстро, использую его чтобы заливать 1080p видео на Youtube, в 4к там просто тупо больше битрейт."

6. https://github.com/alexjc/neural-enhance

[Vetal Sai]

А вы пробовали это делать? Как мне кажеться, для таких целей нужен мощний ПК.

[UnknDoomer]

Еще не пробовал. Пока описанное еще не выстроилось для меня в четкий алгоритм по пунктам.

Относительно мощный пк в наличии (gtx 1080 и пр.).

[Vetal Sai]

Еще не пробовал. Пока описанное еще не выстроилось для меня в четкий алгоритм по пунктам.

Относительно мощный пк в наличии (gtx 1080 и пр.).

Заинтересовали вы меня этой идеей! Нужно взяться за это) Я предлагаю для начала взять первую серию первого сезона. Так как она краткая (50 минут). Ну и неплохо бы иметь самую первую игру в отличном (или почти отличном) качестве.

[UnknDoomer]

Предварительно такая картина:

1. Из списка решил скачать эту штуку для начала https://github.com/k4yt3x/video2x/relea ... -light.zip
2. Распаковываем, запускаем video2x_setup.exe. Ждём пока всё установится и закроется окно.
3. Открываем video2x.json в NotePad++ или ином текстовом редакторе.
Ищем строку "video2x_cache_directory"

и пишем вместо например так: "video2x_cache_directory": "E:\\video2x\\images\\",

папка, куда будут складываться временные .png-файлы, т.е. видео по кадрам. Например для 1990_1, что идёт 50 минут, такая папка весит у меня 29,5+ Гб на текущий момент обработки.

4. Выбираем, что за файл будем конвертировать и куда.
5. Width например 1280. Height например 720. Остальные настройки оставляем как есть, запускаем.
6. Ждём, что получится ~ через 1+ сутки пока конвертируется видео если у вас "усреднённо" мощный компьютер как у меня. Т.е. одна GTX 1080 в качестве GPU метода.

Вывод - для усреднённого подхода и учитывая сколько всего видео - слишком долго. Не пойдёт. Мейнфрейма свободного под рукой нет, как и пары дорогих QUDA видеокарт, так что попробуем сейчас 6-ядерный CPU и 12 потоков как альтернативу. И посмотрим будет ли хотя бы немного более приемлемое время по конвертации 1 видео.


Попутная идея. Если качество окажется содержательным после тестовой проверки мной или кем-либо ещё - в складчину в лице фанатов Форта купить выделенный сервер на несколько месяцев и поместить туда адаптированный под веб реалии json скрипт. Положить по ftp рядом со скриптом файл. Пусть конвертирует сутками напролёт.

Проблемы:

1. Складчина очевидно не соберёт достаточно желающих я полагаю. Выделенный сервер подходящий обойдётся от 10 000 р. / месяц, см. https://www.relevate.ru/services/dedicated, 3 вверху справа. Сбор "адаптированного" для подобного "рейдеринга" пк обойдётся куда дороже. Это к слову.
2. Нужно собрать скрипт. А это время и тоже траты. Хотя и есть кому.

С другой стороны надо понимать, что другой единственный шанс на качественное улучшение картинки это где-то добыть старые студийные записи. Что скорее всего мал. Помнится тут на форуме звучала такая идея-мечта.

[UnknDoomer]

С процессором та же картина. Нужно ждать сутки-двое+. В первом сезоне у нас 15 видео. Соответственно на конвертацию, загрузку и проверку 1 сезона из 10 уйдёт порядка ~ 2-4+ недель плотной конверсии. Вопрос можно ускорить, если кто-то ещё апробирует силу своих железок.

Либо я путаю часы и минуты (?) в консоли. Пока не понятно. Судя по собранным картинкам большая часть видео разобрана на таковые. Тогда примерно час-два. Отпишусь позже по результату.

[UnknDoomer]

Как оказалось не путаю. Разбор на картинки - 77,4 Гб, 82316 файлов. Минуло ~ 15,5 часов. Upscaling 27%. Ждать ещё ~ 40 часов.

[UnknDoomer]

Оригинал - https://b.radikal.ru/b15/1912/e5/d6eee122df7a.png
После промежуточной обработки - https://c.radikal.ru/c11/1912/d1/503534a85798.png

На видео это 12:09 момент. Нажмите "+" после перехода по ссылкам.

Как итог - шераховатостей нет, но картинка как была размытой, так и остаётся. Возможно я зря сменил формат на широкоформатный, 1280x720 и надо было оставить квадратный, но не думаю, что это принципиально влияет. Для улучшения конкретно этого аспекта полагаю нужно дополнительно прогонять специально ещё через какие-то фильтры в фотошопе / иные сети и потом собирать в конечный файл; что подбирают кадры в деталях по схожести, например.

По разрешениям ориентировался на https://en.wikipedia.org/wiki/720p#/med ... dards8.svg

По сути нужно два фильтра. Один убирающий "квадраты". Второй добавляющий детализации / меньше размытости. Как вот для старых игр, образца тех же нулевых, есть SweetFX. Здесь нужно нечто схожее.

[Es]

Никая нейронная сеть никогда не сможет полностью восстановить потерянную информацию. Когда 240 превращается в 720 - это просто рекламная утка.

[UnknDoomer]

Нет. Во всяком случае в ближайшие годы и при текущем уровне развития технологии. Абсолютной уткой я бы это не назвал, учитывая что с вопросом ковыряются не только энтузиасты на коленке, но и разные компании вроде Google, Yandex, Mail.ru со своими зачастую закрытыми решениями. Если бы потенциал был нулевой, то такой картины бы не наблюдалось. Выхода вопроса на коммерческие рельсы я лично пока не заметил, но это вопрос времени когда это кто-нибудь монетизирует. От качества исходного материала тоже ситуация конечно зависит. Как и от того на что ориентирована нейросеть и какой алгоритм заложен. Очевидно, что с рисованными мультфильмами ситуация проще. Для примера тонкостей можно взять тот же аспект раскладывания на картинки. Можно делать его в .jpg, что будет быстрее. Но качество будет несколько похуже.

На другом примере, предшествующих технологий. Недалеко от моего места проживания у Kodec есть отдел, что оцифровывает старые плёночные записи с фотоаппаратов. Доводилось туда сдавать несколько старых плёнок с обычного устройства, что пылились без всяких упаковок годами. Качество отличается от печатного оригинала например достаточно прилично.

Как мы знаем единственная альтернатива это как-то добыть старые студийные записи ОРТ/НТВ при их фактическом наличии или взять у французов кассеты, что качеством получше и оцифровать таковые. К слову о первых. Для интереса поспрашивал одну знакомую барышню в Москве, которая знакома немного с разными лицами на предмет покопаться в архивах. Но пока однозначных ответов нет... И если будет шанс на успех в данном мероприятии, то пока не ясно во что это может стать в плане денег, чтобы у людей был интерес сиё искать и кому-то передавать.

[UnknDoomer]

Ушло ~ около 60 часов на обработку 1 видео. Файл весит 1,81 Гб завместо 642 мб. Как и писал ранее на примере отдельных кадров - шереховатостей теперь нет, но с чёткостью картинки вопрос никуда не делся. Также случайные "шумовые" (характерные сбои старых кассетников), так не поправить. Как итог некоторый прирост качества есть, но не радикальный. Как следствие затею можно считать не рациональной. Не думаю, что другие общедоступные решения дают принципиально иной результат. Да и проверять слишком долго, особенно если в совокупности. Возможно если совместить вопрос с ещё какими-то фильтрами и протестировать уже на сервере можно добиться ещё улучшения, но не знаю. Не уверен.

Файлы можно найти здесь https://drive.google.com/drive/u/0/fold ... vyObiOGRS0

1990_1 и 1990_1_1280_720.

Если обработать полностью весь сезон, т.е. ещё 14 видео, потребуется ~ 840 часов или 35 дней. Т.е. больше месяца. Следовательно если обработать 10 сезонов (1990-1999), то может уйти 10 месяцев непрерывной работы если вести вопрос "типовым" пк.

[UnknDoomer]

В Steam появился ремастер первых двух частей Command & Conquer™. Есть один интересный наглядный кадр на предмет того как работают нейросети - https://steamcdn-a.akamaihd.net/steam/a ... 1590013180

Возможно если оставить исходную картинку в разрешении не более 360p, то можно было бы добиться лучшего качества. Если смотреть 1990_1_1280_720_old_test.mp4 в окошке или на старом телевизоре 4:3, то смотрится +/- на фоне оригинала.

Впрочем для дальнейших экспериментов мне нужен выделенный сервер и подходящий по качеству и производительности скрипт. Пока нет возможности добыть таковой.

[Владимир]

Нет. Во всяком случае в ближайшие годы и при текущем уровне развития технологии. Абсолютной уткой я бы это не назвал, учитывая что с вопросом ковыряются не только энтузиасты на коленке, но и разные компании вроде Google, Yandex, Mail.ru со своими зачастую закрытыми решениями. Если бы потенциал был нулевой, то такой картины бы не наблюдалось. Выхода вопроса на коммерческие рельсы я лично пока не заметил, но это вопрос времени когда это кто-нибудь монетизирует. От качества исходного материала тоже ситуация конечно зависит. Как и от того на что ориентирована нейросеть и какой алгоритм заложен. Очевидно, что с рисованными мультфильмами ситуация проще. Для примера тонкостей можно взять тот же аспект раскладывания на картинки. Можно делать его в .jpg, что будет быстрее. Но качество будет несколько похуже.

На другом примере, предшествующих технологий. Недалеко от моего места проживания у Kodec есть отдел, что оцифровывает старые плёночные записи с фотоаппаратов. Доводилось туда сдавать несколько старых плёнок с обычного устройства, что пылились без всяких упаковок годами. Качество отличается от печатного оригинала например достаточно прилично.

Как мы знаем единственная альтернатива это как-то добыть старые студийные записи ОРТ/НТВ при их фактическом наличии или взять у французов кассеты, что качеством получше и оцифровать таковые. К слову о первых. Для интереса поспрашивал одну знакомую барышню в Москве, которая знакома немного с разными лицами на предмет покопаться в архивах. Но пока однозначных ответов нет... И если будет шанс на успех в данном мероприятии, то пока не ясно во что это может стать в плане денег, чтобы у людей был интерес сиё искать и кому-то передавать.

У французов вроде как появились записи из 90-х в студийном качестве. Со мной тут поделились недавно записями 1991 в студийном качестве (но у того человека был только 1991). У кого именно они есть и какие конкретно сезоны - не очень понятно.

На НТВ скорее всего записей не осталось - какой смысл хранить то, что никогда уже не понадобится?

[Владимир]

В Steam появился ремастер первых двух частей Command & Conquer™. Есть один интересный наглядный кадр на предмет того как работают нейросети - https://steamcdn-a.akamaihd.net/steam/a ... 1590013180

Возможно если оставить исходную картинку в разрешении не более 360p, то можно было бы добиться лучшего качества. Если смотреть 1990_1_1280_720_old_test.mp4 в окошке или на старом телевизоре 4:3, то смотрится +/- на фоне оригинала.

Впрочем для дальнейших экспериментов мне нужен выделенный сервер и подходящий по качеству и производительности скрипт. Пока нет возможности добыть таковой.

Так может у них сохранились исходники и они отрендерили этот ролик заново...

[UnknDoomer]

. Со мной тут поделились недавно записями 1991 в студийном качестве (но у того человека был только 1991). У кого именно они есть и какие конкретно сезоны - не очень понятно.

Есть возможность их где-то расшарить, чтобы затем разместить на гуглдиске?

[UnknDoomer]

https://dtf.ru/hard/850595-tehnologiya- ... -kachestva

[Праграмер]

Ещё через годик-другой, и возможно ребята из гугла выкатят это куда-нибудь... Подождём, пока доучат сеточку полегче