Super resolution

>Вы не ошиблись? Точно 16000х12000? Под 200Мп каждый? Со смартфона??

Ага.) Со смартфона беру обычные 12Мп (4000*3000), затем увеличиваю в 4 раза по каждой оси. Получаю 16000*12000. Это даже не 200Мб, а 500Мб.) И таких кадров у меня 10, итого 5Гб. Кидаю их на слои, запускаю Auto Align Layer. Сильные расхождения исправляются, остаются слабые - на 4-5 пикселей (с учётом увеличения в 4 раза, это 16-20 пикселей). Дальше экспортирую слои в отдельные bmp и на этом ручная работа закончена (занимает минут 20 с учётом тормозов Фотошопа из-за огромных файлов).
Потом запускаю утилиту, она делает чистовую подгонку слоев с точностью до пиксела и сшивает по медиане.
Насчёт 4х часов - это оказывается забыл многопоточность включить.) С ней получается 1.5 часа. Пожалуй, это уже пригодно к использованию и можно на этом остановиться.

от:makecase
10 картинок разрешением 16000х12000 он подгоняет друг под друга 18 часов с использованием трёх ядер процессора. Сейчас оптимизировал его и это делается менее, чем за 4 часа. То есть, можно запустить, пойти на работу, а вечером получить пару готовых красивых кадров склеенных из 10 кадров каждый.
Просто, думал, вдруг есть коммерческий софт, который делает то же самое (или лучше) за минут 15, скажем. PhotoAcute3, похоже, так и делает, но, как писал выше, он уже не продаётся, а без покупки клеет вотермарки.

Подробнее

Попробовал снять шевелящиеся ветки, с тем, чтобы опробовать разные варианты сшивки.
В результате всё-таки лучше всех шевелёнку сшивает ACR в режиме HDR.
А чтобы уменьшить шумы, я сшил не сразу все, а сначала сшил попарно кольцом, 1-2, 2-3, 3-4, ..., 10-11, 11-1. Получились те же 11 файлов, но уже в DNG. А затем их уже все 11 DNG вместе в один HDR там же, в ACR.
Шумов стало заметно меньше, чем в одиночном кадре, но больше, чем при сшивке с усреднением в Photoshop-е.
Заметил, что при сшивке HDR один из кадров берётся при устранении двоения за основу, а другой притягивается к основному. По каким признакам берётся основной пока не понял, а мысль такая: создать попарные сшивки HDR DNG, у которых устранение двоения строго одинаково, потому что происходит на одном основном кадре, тогда их можно будет подать в слои в Photoshop и там уже двоения не будет, а затем доводим до смарт-объектов и в стеке усреднение, которое даст наилучшее устранение шумов. Конечно, с сотней кадров замучаешься собирать попарно, но с десятком вполне реально сделать всё за минуты, а не часы.

от:makecase
>Вы не ошиблись? Точно 16000х12000? Под 200Мп каждый? Со смартфона??

Ага.) Со смартфона беру обычные 12Мп (4000*3000), затем увеличиваю в 4 раза по каждой оси. Получаю 16000*12000. Это даже не 200Мб, а 500Мб.)

Подробнее

Я говорил про Мп, а их 200. Что размер файла раза в 2-3 больше количества Мп и так понятно.

от:makecase
И таких кадров у меня 10, итого 5Гб. Кидаю их на слои, запускаю Auto Align Layer. Сильные расхождения исправляются, остаются слабые - на 4-5 пикселей (с учётом увеличения в 4 раза, это 16-20 пикселей). Дальше экспортирую слои в отдельные bmp и на этом ручная работа закончена (занимает минут 20 с учётом тормозов Фотошопа из-за огромных файлов).
Потом запускаю утилиту, она делает чистовую подгонку слоев с точностью до пиксела и сшивает по медиане.
Насчёт 4х часов - это оказывается забыл многопоточность включить.) С ней получается 1.5 часа. Пожалуй, это уже пригодно к использованию и можно на этом остановиться.

Подробнее

Расхождения на 4-5 пикселей из-за того, что или формат jpeg при сжатии оперирует такими блоками, или/и смаз при съёмке добавляет неопределённости в определении деталей, но в каждом кадре по-разному, поэтому сначала может быть стоит кадры перевести в tiff или psd. И перевод из 8 бит jpeg в 16 бит tiff может дать больше, чем увеличение Мп. Я бы не стал увеличивать разрешение более чем в 2 раза, всё равно там никаких новых деталей не появится, а нестыковок деталей зато при увеличении станет больше. Но и то при файлах в raw, при jpeg-е вообще не вижу смысла увеличивать, потому что вместе с деталями увеличиваются и артефакты, которых в jpeg-е предостаточно, а при увеличении они становятся заметны и принимаются программами уже за детали со всеми вытекающими.

Расхождения и размер блока jpg не связаны. Jpg ведь не двигает пикселы по картинке. Насчёт того, что можно не увеличивать в 4 раза не уверен. Точная подгонка иногда ошибается на 1 пиксель. При увеличении в 4 раза итоговая ошибка составляет 1/4 пиксела, что преемлемо. А при увеличении всего в 2 раза ошибка будет уже 1/2 пиксела, что может сказаться на финальной детализации. Впрочем, может и незаметно будет, надо пробовать.

Кстати, с медианой не всё просто.) Она корректно работает только при нечетном числе слоев. При четном нет среднего элемента и приходится брать либо меньший (более темный), либо больший (более светлый). Это визуально хорошо видно на результате. Для четного числа слоев сделал усреднение двух центральных. Стало идеально.))

Насчёт выбора базового изображения. Я сделал, чтобы оно выбиралось по наименьшей сумме попарных разностей. Получается, что будет выбрана картинка наиболее близкая ко всем остальным. Вероятно, ACR выбирает базовое изображение похожим образом.

Тоже занимался подобными вопросами
1. Такое есть уже в некоторых фотокамерах. Выбрав нужный режим камера снимается несколько кадров и сшивает их, причем учитывается движение объектов. Если например шел человек или движение веток деревьев, на результирующем снимке двоения не будет
В камерах Olympus режим SCN съемка с рук, снимается 8 кадров и сшиваются. С первого кадра остается даже RAW. Минусы нельзя менять никакие параметры съемки - камера их ставит сама
В камерах Sony это режим многокадрового шумоподавления (можно самому менять параметры съемки) и режим I+ (параметры выбирает камера)
В новых камерах Sony (A7m3 ...) многокадрового шумоподавления нет - изменилась схемотехника камер
2.Были попытки сделать программу, называется KandaoRaw неплохо работает,движения в сшитых кадрах нет, есть всякие нюансы, но новой версии программы вроде нет, по видимому автор переключился на другие программа (360градусов ...)

Вот пример. Ночная съёмка с рук, смартфон, это оригинальный кадр.


before by makecase, on Flickr

А это результат работы программы. Сшито из 10 кадров. Желательно смотреть на масштабе 100-200%, чтобы хорошо был виден исходный шум и что получилось в итоге. Очень радует, что шумоподавленение здесь не только не разрушает детали, как это делают обычные шумодавы, но даже появляются детали, которых не было. Достаточно посмотреть на текст на боку машины. Его читабельность заметно выросла после обработки.



after by makecase, on Flickr

от: makecase

Вопрос: подскажите программы, которые могут качественно делать такую операцию?

Kandao Raw+ , например.
Работает с РАВами, на выходе - тоже сырой DNG.
Русскоязычное обсуждение тут - https://sony-club.ru:443/threads/kandao-raw-po-dlja-sozdanija-chistyx-kadrov-raw.74739/

Пример работы:


[/img]

Хотите кадры складывать, в астрофото давно уже придумано это.
Registax, первое, что приходит на ум.

от: ACIDSky
Хотите кадры складывать, в астрофото давно уже придумано это.
Registax, первое, что приходит на ум.

У Registax есть пара маленьких недостатков: только Выньдофс и уже 8 лет никаких обновлений. Остальные астропрограммы страдают ровно тем же, не считая глюкавости.
Что касается Kandao, то у меня есть что ему скормить, посмотрим, не подавится ли...

от:alexandrd
У Registax есть пара маленьких недостатков: только Выньдофс и уже 8 лет никаких обновлений. Остальные астропрограммы страдают ровно тем же, не считая глюкавости.
Что касается Kandao, то у меня есть что ему скормить, посмотрим, не подавится ли...

Подробнее

Ну это я для примера привел. Есть и более новый софт. Я уже давно астрофото не занимался. И кроссплатформенный, да и для Мак ОС можно всегда кроссовер использовать, вайн или на крайний случай параллелс десктоп.

Я к тому, что тут попытка изобрести велосипед, когда есть готовый софт ориентированный именно на это и отточенный для тонких задач. Когда каждый шум или сдвиг приводит к неточностям в идентификации звезд, скоплений и подобного.

от:makecase
А это результат работы программы. Сшито из 10 кадров. Желательно смотреть на масштабе 100-200%, чтобы хорошо был виден исходный шум и что получилось в итоге. Очень радует, что шумоподавленение здесь не только не разрушает детали, как это делают обычные шумодавы, но даже появляются детали, которых не было. Достаточно посмотреть на текст на боку машины. Его читабельность заметно выросла после обработки.

Подробнее

Сравните свою программу с Kandao Raw+.
Насколько я понял, Kandao Raw+ сшивает отлично, при этом она берёт за основу первый файл и относительно его содержания притягивает всё остальное (как и acr, . Но у неё тоже не без недостатков: она как-то странно шумодавит, около высококонтрастных объектов типа тёмных веток, на светлом фоне шума больше, чем на больших таких же светлых площадях. То есть, это явно не просто усреднение или медиана.
Когда будете делать dng из raw, не увеличивайте разрешение более чем вдвое, потому что это бессмысленно. Что касается jpeg, то здесь может быть есть смысл в 4-кратном увеличении и то не уверен. И то, если речь идёт о матрицах размером кроп полтора и более. На смартфонах больше кропа 5 - 4 не бывает, а это означает, что Вы при 4-кратном увеличении уже выходите далеко за дифракционный предел. Не считая того, что оптика смартфонов далека от того качества, которое называют дифракционным.
Единственный смысл в увеличении более 2х - в сглаживании лесенок от пикселей, но потом-то Вам всё равно придётся для просмотра делать максимум 100% относительно монитора и Вы всех этих "красот" от плавных линий гарантированно никогда не увидите.
Что касается Kandao Raw+, то она делает очень похоже на Ваш вариант, но в сотни раз быстрей. Её единственный плюс перед усреднением в Photoshop-е - она устраняет всякие двоения без лишних хлопот, но при этом умудряется потерять очень малоконтрастные переходы в тенях с гораздо более крупной структурой, чем пиксели, просто выглаживая их шумодавом.
Думаю (пока не пробовал из-за трудоёмкости), что комбинация из Kandao Raw+ с Photoshop-овским усреднением (медиана уже не нужна, потому что выбросы будут уничтожены Kandao Raw+) даст более интересный результат в смысле шумоподавления без потери деталей.
Например, с помощью Kandao Raw+ привести попарные (или тройками, один реперный файл на все остальные файлы) комбинации файлов в одинаковый вид и добить шумы, оставленные Kandao Raw+, в Photoshop-е усреднением.
Сдаётся мне, что в случае со смартфоновскими jpeg-ами вылизывание в Photoshop-е уже ничего более не даст, но, как в армянском анекдоте, опыты продолжаются...

от:ACIDSky

Я к тому, что тут попытка изобрести велосипед, когда есть готовый софт ориентированный именно на это и отточенный для тонких задач. Когда каждый шум или сдвиг приводит к неточностям в идентификации звезд, скоплений и подобного.

Подробнее

Мне Kandao Raw+ понравился, для шевелёнки в кадре то, что доктор прописал. Для строго статичных кадров усреднение в Photoshop-е однозначно лучше.
Кстати, Kandao Raw+ умудряется оставить ощутимую часть цветовых шумов, что для усреднения более чем странно.

от: alexandrd
У Registax есть пара маленьких недостатков: только Выньдофс и уже 8 лет никаких обновлений.

registax6 давно использую в linux + wine без проблем.
А что там менять?
Для астро правда сейчас использую autostakkert!3 + wine.

от:makecase
А это результат работы программы. Сшито из 10 кадров. Желательно смотреть на масштабе 100-200%, чтобы хорошо был виден исходный шум и что получилось в итоге. Очень радует, что шумоподавленение здесь не только не разрушает детали, как это делают обычные шумодавы, но даже появляются детали, которых не было. Достаточно посмотреть на текст на боку машины. Его читабельность заметно выросла после обработки.

Подробнее

Как на флицкере смотреть 200% я так и не понял, а на моём мониторе при 100% никаких шумов не видно, потому что он 5120х2880. И при 200% на нём тоже не очень-то шумы разглядишь, надо 400%.
Что касается складывания, то конечно, шумы давятся что в Kandao Raw, что усреднение в Photoshop-е на-ура. Но, видимо, смысл это имеет только для смартфонов, приличные камеры выдают такой результат сразу:






В глубоких вытянутых тенях конечно шумы более чем заметны и оба способа скрещивания ужа и ежа дают результат:






Но при нормальной экспозиции надо очень вглядываться, чтобы найти разницу на одиночном кадре против склейки:










На тройках скриншотов первый кадр одиночный, второй из-под Kandao Raw, третий - Photoshop.
И как раз в тенях по еле заметным теням у Photoshop-а заметное преимущество.
Кстати, разрешение при сборке сначала было удвоено, чтобы более точно собралось, а затем снова уменьшено до нативного, что на мой взгляд ничего не дало по сравнению с одиночным кадром.
Вывод: стекинг имеет смысл при жёстком недоэкспонировании, например, при той же сборке ночных снимков с высоким iso и с короткими выдержками, чтобы не было смаза при съёмке с рук, при большом ДД сцены, когда тени будут радикально вытаскиваться, да на смартфонах, на которых шум всегда виден невооружённым глазом. Ну так это и так было известно.
Пользу же я извлёк из ссылки на Kandao Raw, полезная вещь. Видимо, надо будет попробовать эту фишку на снимках с ночным звёздным небом.

Еще в Kandao Raw+ в ночных снимках в некоторых местах появляется постеризация, но не особо сильная

>В глубоких вытянутых тенях конечно шумы более чем заметны и оба способа скрещивания ужа и ежа дают результат:

На этих трёх кадрах у Кандао концы веток размыты, в фотошопе они чёткие. Это странно потому, что Кандао наоборот должен был хорошо совместить картинки перед склейкой, а получилось наоборот.)

>Как на флицкере смотреть 200% я так и не понял,

Только скачать оригинал и увеличить уже в любимом просмотрщике или в фотошопе.