В статье представлена новая полуавтоматическая цифровая система реставрации кинофильма для архивного хранения (DIMORF). включая все стадии реставрации, такие как просмотр, цифровая обработка и перезапись на пленку. Предусмотрено как автоматическое, так и ручное управление системой. Все главные компоненты разработаны и изготовлены с учетом требований к хранению фильмов. Сканер фильма, так же как лазерное устройство записи на пленку (фильмрекордер) имеют разрешающую способность до 6К. Сканер анализирует всю поверхность фильма, включая перфорацию. Лазерный фильмрекордер использует вращающееся зеркало для сканирования лазерного излучения и экспонирования пленки, помещенной на внутреннюю поверхность барабана фильм-рекордера. Цифровая система обработки PCbased включает автономную структуру и имеет базовый модульный интерфейс с программным расширением, адаптированный к алгоритмам реставрации. Встроенное система коррекции ошибок включает стабилизацию положения кадра, систему компенсации неравномерности яркости разных планов, обнаружения и удаления пятен, царапин, обесшумливание. компенсации искажений цвета и компенсации выпадений. Разработаны диалоговая пользовательская поддержка и адаптивные алгоритмы, чтобы совместно с полуавтоматической операцией реставрации уменьшить затраты трудовых ресурсов.

В венгерских Национальных Фильмовых Архивах (HNFA), подобно другим архивам 8 мире, имеются тысячи фильмов, которые должны быть спасены от безвозвратной потери. Цифровая система реставрации кинофильма для архивов фильма (DIMORF) разработана с учетом возможности создания относительно дешевой системы, способной компенсировать все изменения кинофильмов, возникшие в процессе их хранения. Предложенная система реставрации основана на сотрудничестве Научно-исследовательского института Компьютера и Автоматизации венгерской Академии Наук (SZTAKI), Лаборатории Обработки изображения Университета Вес-према, HNFA, и Cortex Ltd. Главной целью было создать систему, которая обеспечивала текущие и будущие потребности хранителей фильма:

■ Возможность исправления основных дефектов фильма, возникших в процессе хранения.
■ Создание открытого интерфейса для будущих алгоритмов обработки фильма.
■ Обеспечение разрешения 6К.
■ Интуитивно понятный интерфейс с информацией о файлах для работы операторов.
■ Обеспечение поиска данных и интеллектуальный процесс управления, с использованием структуры данных XML.

HNFA имеет специальные требования относительно реставрации большого количества фильмов архива. Обычно имеется только одна копия фильма в плохом физическом состоянии, при этом возможно проведение только одной процедуры реставрации. Из-за долгого времени процесса восстановления в высокой разрешающей способности невозможно непрерывное вмешательство оператора. Система должна управляться в полуавтоматическом способе, с отдельными ручными вмешательствами для точной настройки.

Процесс реставрации может варьироваться, но при этом сохраняется основная последовательность операций:

1. Визуальное исследование, чтобы установить степень деградации фильма и необходимую разрешающую способность процесса восстановления, поскольку большинство фильмов архива не требует разрешения 6К.
2. Физическая очистка и предварительная обработка; определение и установление параметров фильма (средняя яркость планов, физическое удаление царапины жидкими составами, определение необходимости инфракрасного сканирования); просмотр.
3. Оценка и планирование необходимых задач восстановления; определение мест, непригодных для восстановления и их удаление из фильма, определение положения кадров и компенсация их нестабильности, определение уровня шума, обнаружение царапин и начало автоматического восстановления.
4. Периодические ручные вмешательства: наблюдение реконструкции фильма, точная настройка параметров.
5. Последний шаг цикла восстановления: заключительная оценка качества восстановления и решение вопроса о необходимости дальнейшей обработки или принятие решения об окончании обработки и начала перезаписи на лазерном сканирующем устройстве.
6. Подготовка к перезаписи фильма: анализ увеличенных изображений кадров для определения оригинальнойгранулированное™ исходного фильма и ее моделировании при перезаписи.
7. Заключительная аттестация согласно исходному материалу фильма.
Все шаги процесса восстановления зарегистрированы в файлах XML, чтобы обеспечить их воспроизводимость. С помощью этих данных восстановление может быть произведено в различных системах.

Многие из вышеупомянутых требований связаны с весьма высокой стоимостью ручного восстановления фильма. Именно поэтому предложенные алгоритмы и решения для программного обеспечения поддерживают открытую, легко доступную и хорошо структурированную систему, ориентированную на использование автоматических процессов восстановления фильма.

Описание системы

Предыдущая Работа в Аналоговом Копировании Фильма В SZTAKI, копировальное устройство фильма, названное «Спасатель Фильма», было создано для того, чтобы обеспечить сохранность оригиналов фильма в процессе его реставрации 2. Это устройство использует вакуумный прижим фильма к кадровому окну вместо зубчатого барабана, используемого 8 классических механизмах транспортирования фильма. Также использовано устройство изменения положения проекционной оптики в соответствии с сигналами ПЗС-датчиков положения кадра для компенсации усадки основы фильма. Архитектура системы

Система состоит из пяти компонентов:

1. Сканер Фильма с высокой разрешающей способностью- Сканер использует линейные ПЗС матрицы с разрешением 6К с максимумами спектральной чувствительности 450, 550, и 650 нм. Сканируемый кадр освещается метал л о галоидной лампой через волоконную оптику. Результаты сканирования передаются по трем независимым каналам с разрешением 6 К. Имеется также встроенная видеокамера для быстрого онлайн контроля процесса сканирования. Информация о царапинах формируется инфракрасным датчиком, с макимумом спектральной чувствительности 700-1300 нм. Просмотр с высокой разрешающей способностью 35 мм кадра занимает около 10 секунд, просмотр с более низкой разрешающей способностью (2К) менее 3 секунд. Дополнительные ПЗС датчики формируют информацию о положении перфораций.

2. Автоматизированное рабочее место реставрации фильма. Для попучения оптимальной совместимости и невысокой стоимости алгоритмы реставрации фильма реализованы на операционной системе PC Windows MS. Программное обеспечение разработано для сквозного технологического процесса восстановления фильма. Проект восстановления и его операции иерархически организованы в Задачи. Рабочие места и Цифровые устройства. Это позволяет создавать возможность последующего расширения и модификации системы с помощью гигабитной сети Ethernet.

3. Обработка звуковой информации. Звуковая дорожка сканируется и обрабатывается независимо от изображений при помощи специального цифрового оптического устройства. Также возможна обычная звуковая обработка для дальнейшей звуковой реконструкции.

4. Устройство перезаписи фильма. В устройстве перезаписи быстродействующее вращающееся зеркало проецирует модулированные лазерные лучи на неэкспонированную пленку, помещенную на внутреннюю поверхность барабана устройства перезаписи. Ппенка установлена на внутренней дуге барабана при помощи вакуумного прижима, чтобы гарантировать механическую стабильность и точность. Излучение генерируется лазерами 405, 532, и 640 нм.

5. Хранение. Хранение данных фильма с высокой разрешающей способностью требует огромного количества дискового пространства. Чтобы сохранять затраты низкими, используется комбинированная система хранения информации - дисковое пространство центрального управляющего компьютера и основное хранилище в виде специального сетевого сервера, связанного с системой через сеть гигабитного Ethernet. Поскольку аппаратные средства и компоненты программного обеспечения изготовлены членами консорциума, все части системы обеспечивают полную совместимость.

Структура программного обеспечения позволяет восстановить приблизительно 1500 кадров в день с участием оператора, управляющего полуавтоматическими алгоритмами в разрешении 2К. Части, обычно 20-1000 кадров, находятся в очень плохом состоянии и требуют стабилизации положения кадра, компенсации мерцания и компенсации имеющихся пятен. При помощи описанного устройства восстановлено 60 минут первого венгерского цветного фильма («Ludas Matyi», 1949). Цифровая реставрация

DIMORF имеет возможность исправить несколько типов дефектов фильма: неустойчивость кадра, мерцания, пятна на пленке, шум, царапины, и исчезновения цвета. Большие усилия были предприняты для автоматизации операций реставрации. С этой целью проведены анализ цветопередачи фильма, обнаружение усадки и анализ движения объектов в кадре. Представление всех этих метаданных в файлах XML способствует созданию легко контролируемых процессов управления.

Ниже обсуждены автоматическая стабилизация положения кадра, индексация всех операций реставрации и содержание некоторых этапов. Рассмотрена также структура цифровой системы реставрации фильмов.

Автоматическая стабилизация

Неустойчивость положения кадра изображения вызывает трудности в создании автоматической системы восстановления фильма. Неустойчивость обычно вызывается неточностями в транспортировке фильма в течение регистрации, копирования, или процесса преобразования в цифровую форму. Предложен автоматический метод (алгоритм) стабилизации изображения, состоящий из двух главных этапов: оценка неустойчивости и исправление положения всего кадра. Более ранние алгоритмы стабилизации были неэффективны в случаях многократных циклов просмотра, и наличия человеческого сектора. Предложенный алгоритм является автоматическим, эффективным для фильмов с высоким уровнем шума и для трудных кадров.

Наблюдаемая неустойчивость положения объектов съемки в фильмах имеет весьма сложную природу и обусловлена как движениями съемочной камеры, так и дефектами механизмов транспортирования кинопленки при съемках, копировании и кинопоказе. В некоторых случаях полный кадр изображения не может быть основой для получения информации о неустойчивости изображения, поскольку снимаемая сцена содержит сложные комбинированные движения изменяющегося объекта. В этом случае для компенсации неустойчивости в более ранних системах использовалось ручная коррекция с выбором -базисной точки для адекватной стабилизации. Такая коррекция занимала много времени, поэтому цель предложенного метода - автоматическое исправление неустойчивости кадра без ручного вмешательства. Это достигнуто автоматическим выбором области фиксации (ROF) в последоватепьности изображений. Информация движения, полученная при анализе ROFs используется для стабилизации изображений.

Метод корреляции образы в оценке движения был скомбинирован с основным алгоритмом движения. Этот метод оценки движения относительно нечувствителен к колебаниям в интенсивности изображения очень типичным для старых фильмов Для того, чтобы находить ROFs в сцене, изображения разделены на 4 подобласти. Если движение, наблюдаемое относительно подобластей изображений адекватно с общим движением, то предложенный метод использует только первый уровень анализа (т. е. целое изображение). В случаях сложных сцен, изображения разделены на подобласти из-за местных движений объекта. Анализируя траектории движения областей ROF или группы ROFs. которые описывают соответственно движение целого изображения, могут быть найдены алгоритмы неустойчивости кадра. Эти ROFs действительны для длительности сцен от 0.5 до 1.0 с. в зависимости от сюжета. Следующий шаг - сопоставление движений ROFs и формирование информации о неустойчивости кадра с последующей его компенсацией.

Для лучшего визуального представления результатов и большего количества деталей предложенного метода посетите сайт www.knt.vein.hu.
Вычислительное время может быть уменьшено, используя обработку с переменным разрешением. Это означает, что первые уровни алгоритма стабилизации могут быть обработаны в более низком разрешении с удовлетворительными результатами. В примененных цифровых устройствах в системе стабилизации разделены фазы обнаружения и исправления (анализ и синтез). Если используются несколько цифровых устройств, чтобы достигнуть лучшего результата и оптимального использования ресурса, фаза обнаружения выполнена на нижнем уровне разрешения. Фаза исправления сделана на оригинальных кадрах изображения с высокой разрешающей способностью, используя полную информация фазы анализа. Для того, чтобы минимизировать ошибки, возможные при оценке движения с низкой разрешающей способностью, используется корреляция фазы с точностью половины пиксела на изображениях более низкого качества.

В испытании на изображениях с горизонтальным разрешением 2К и 4К установлено, что. если обнаружение сделано на 4-х кадрах низкого качества, результат стабилизации незначительно отличается от стабилизации, сделанной в высоком разрешении 6К - типичный результат такого сравнения. Результаты также показывают, что такое снижение разрешения приводит к разумной выгоде в продолжительности обработки. При обработке изображения с разрешением обрабатывая 1К при 24-битовое квантовании. Использован компьютер Intel Pentium-4, 1.8 ГГц. При 4-х кратном уменьшении разрешения время вычисления уменьшалось от 7.3 секунд/кадр до 0.9 секунд/кадр. Дальнейшие снижение времени обработки ожидается после некоторой кодовой оптимизации.

Индексация фильма

Чтобы поддерживать полуавтоматическую конфигурацию фильтров, система создает базу данных, которая содержит параметры ручных пользовательских воздействий типа точной настройки. Эти данные могут быть коррели-роеаны с различным сюжетами фильма, и таким образом система может предложить адаптивные браузеры фильтра, чтобы поддержать принятие решения оператора.

Индексация изображения применена к репрезентативным кадрам (г-кадры) сюжетов. Сюжеты установлены автоматически методами обнаружения переходов. В текущей стадии могут использоваться два типа индексации на основе содержания для того, чтобы найти подобные сюжеты в пределах или между фильмами. В обоих случаях репрезентативные кадры, которые будут внесены в указатель, отобраны согласно подобию гистограмм репрезентативных кадров и среднего кадра сюжета.

Индексация цветных подписей

В этом случае для г-кадра выбирается такой кадр, который имеет гистограмму, самую близкую к гистограмме среднего кадра части. Подобие может быть измерено в соответствии с распределением Евклида. Из г-кадров извлечены тринадцать образцов цветных подписей и внесены в указатель в файлах базы данных. Индексация информации вектора движения Выбор репрезентативных кадров в этом случае противоположен принципу, изложенному в предыдущем параграфе. Выбираются такие г-кадры. которые имеют гистограммы, наименее схожие со гистограммой среднего кадра части. Анализируется приблизительно 10-20 кадров вокруг каждого г-кадра. для того, чтобы оценить движеботать порознь, существенно уменьшает вычислитель-ные затраты при сохранении высокой разрешающей способности.

Исследованы цветопередача сканера и процессы моделирования некоторых возможных эффектов стареющих фильмов. В настоящее время исследуется модель цветопередачи сквозного процесса реставрации, включая устройство лазерного фипьмрекордера. Система реставрации имеет возможность структурированного сбора данных для совершенствования алгоритмов реставрации и увеличения степени автоматизации реставрационного процесса.

Примечание
Эта статья основана на исследовании, проведённом в соответствии с проектом NKFP-2/049/2001 Министерства просвещения Венгрии.