Чем массово проверить raw-файлы на целостность (корректность).

Случилась у меня такая история, сунулся в папку 2017 года и обнаружил, что в одной из подпапок некоторые файлы битые. Причем с разных фотоаппаратов. Причем определить это можно только в момент открытия в конвертере. Перед этим прикупил новый винчестер и перенес фотоархив со старого на новый, копирование делал утилитой FastCopy с валидацией после копирования. Никаких ошибок не было. Соответственно, сейчас нужно проверить все десятки тысяч равов на целостность, т.к. с этого источника регулярно делаю резервные копии в разные места, не хотелось бы копировать битые файлы вместо исправных. Пока что пришел в голову только один способ - открывать папки с файлами в каком-либо конвертере (С1, ДхО, Силкипикс), дожидаться, когда они прогрузять все кадры и уже там на превьюшках смотреть, где целые, где нет. Но это очень долго. Есть ли какие специальные программы, проверяющие рав-файлы на целостность, желательно в пакетном режиме?

У меня была подобная засада. Пару лет назад обнаружил, что в архиве некоторые равы битые - при открытии/проявке часть картинки в цветных блоках, некоторые вообще отказываются открываться. Причем jpg все нормальные. Снимаю на Canon, обычно работаю в родной DPP, поэтому не особо раздумывая, просто поставил "Обработку группой" (в jpg или tif - без разницы, главное сделать картинку не из превьюхи, а из "реального" рава) и смотрел на результат. Пришлось обрабатывать ВЕСЬ архив. Да, это долго. Зато надежно. Потратил массу времени. Был неприятно удивлен.

Сначала думал, что это кабель хреновый, поменял. Вроде стало лучше, потом опять началось. Засада в том, что эта проблема возникает непредсказуемо - может три месяца быть все нормально, затем "дохнет" два-три рава в серии, а может и сразу половина. Думал на кардридер, но менять не стал, решил наблюдать. Однажды "сдохли" равы, перенесенные в архив только вчера, и после переноса проверенные (!), вечером перенес и проверил, а утром - они почти все битые. Очевидная мысль - дохнет жесткий диск (пользуюсь выносными дисками). Проверил диск - все нормально. Но купил другой HDD. Месяца через три на новом HDD та же история. Причем только с равами - ни jpg, ни другие всякие файлы не портятся.

Сейчас прихожу к выводу, что равы портятся либо самим DPP (у меня были версии 3.7 и 4.10), либо операционкой (XP и 7). От компа вроде не зависит - это наблюдалось при работе как на каких-то старых ноутах, так и на новых быстрых. Одновременно с DPP иногда запускаю PhotoShop CC, но в нем я равы не кручу, а бьются только они.

Если у вас не Canon или если не работаете в DPP. то значит это фокусы операционки.

Сейчас стараюсь после переноса в архив делать сплошную проверку перенесенного и затем (или ДО проверки) утилитой ICE ECC делаю файл с информацией для восстановления. Пару раз здорово помогло. И дублирую архив, разумеется. Ну и, разумеется, пока не проверю перенесенное, с карты ничего не удаляю.

Вот такая паранойя.

У меня равы с Олимпуса и Никона. Как версия, почему "протухли" равы - старый жесткий был забит почти под завязку, свободного места оставалось несколько сотен мегабайт. Либо еще вариант, у меня на лицевой панели компа ЮСБ порты работают как-то нестабильно, несколько раз бывало, что подключаешь что-то к ним, и происходит какой-то глюк, который подвешивает систему или диски.

Короче, с причиной не понятно. Но хотелось бы все-же найти какую программу для валидации равов.

от:kkk

... Как версия, почему "протухли" равы - старый жесткий был забит почти под завязку, свободного места оставалось несколько сотен мегабайт. Либо еще вариант, у меня на лицевой панели компа ЮСБ порты работают как-то нестабильно, несколько раз бывало, что подключаешь что-то к ним, и происходит какой-то глюк, который подвешивает систему или диски.

Подробнее

В моем случае битые находил и на новом 2х-терабайтнике, где места было еще до хренища. И на работу портов пока не жаловался. Блок питания у меня с хорошим запасом мощности, проседания напруги никогда не замечал. Контакты вроде тоже все нормальные. Немного напрягает, что Win7 при "безопасном извлечении" не отключает напряжение на USB. Есть подозрение, что это могут быть глюки кэширования или отложенной записи, но если причина в этом, то биться должно все подряд, а не только равы. Да и на XP вроде все отключается как надо, а битые равы все равно возникают.

от: kkk

Короче, с причиной не понятно. Но хотелось бы все-же найти какую программу для валидации равов.

Валидация - дело непростое. Как я уже писал, некоторые битые равы не открывались - такие наверняка можно легко выловить какой-нибудь простой самописной утилиткой. А вот как отловить равы, которые открываются и конвертируются, но изображение побито? Мне пока в голову не приходит, как можно формализовать проверку их качества. Если есть сопутствующий jpg, то в принципе можно с ним как-то сравнивать. Но jpg есть далеко не всегда. К тому же каждый производитель делает свой формат рава, да еще и несколько вариантов. И хрен где найдешь их нормальную спецификацию. Кроме того, найти битые - это еще не все, хотелось бы их исправить.

Поэтому я и пришел к следующему:
1) пакетное преобразование в jpg с последующей визуальной проверкой. Т.к. превьюхи у таких файлов делаются по их содержимому, битые кадры довольно просто обнаружить.
2) для уже проверенных визуально файлов использовать ICE ECC - создать ECC-файл, по которому уже программа может проверять целостность архива и восстанавливать изменившиеся файлы.

Конечно, можно просто дублировать архив на еще один диск, надеясь, что на нем побьется что-нибудь другое. :) Но, во-первых, это удваивает аппетиты к дисковому пространству. При использовании же ICE ECC мне хватает 10% ecc-файла не только для починки побитых файлов, но даже для восстановления некоторых стертых.
А во вторых, в моем случае и в дублирующих архивах некоторые файлы тоже оказались битыми (вероятно, побились до копирования). Вот такой неожиданный геморрой случился в одной далекой галактике...

Стоило бы поперву проверить жесткий диск на битые кластеры, прогой типа Гетман, а заодно и вытащить всю информацию, потом обрезать если сыпется..но хранить дальше на нем будет неразумно.

Диск только куплен. Хотя проверить нужно.

от: Оум
2) для уже проверенных визуально файлов использовать ICE ECC - создать ECC-файл, по которому уже программа может проверять целостность архива и восстанавливать изменившиеся файлы

Спасибо за совет, поищу что этот такое и как с ним обращаться.

от: Оум
для уже проверенных визуально файлов использовать ICE ECC

Кстати нашел аналог - Multi Par. Более приятный интерфейс, и что, как мне кажется, программа обновляется, в отличии от ICE ECC, которая уже очень давно остановилась в развитии.