Wykorzystanie wzorników w celu oceny jakości digitalizacji

Proces wiernej digitalizacji istotnie jest fotografowaniem każdego obiektu z wzorcem  koloru, aby można było w przyszłości zweryfikować kolory, używając nowszego oprogramowania, wygenerować z pliku RAW jeszcze lepszy plik użytkowy typu TIFF czy JPEG lub zapisać wyniki w nowych formatach MXF lub JPEG 2000. Taki sposób digitalizacji (mam na myśli fotografowanie oraz stosowanie wzorników i oprogramowania) jest w Polsce wprowadzowany w kilku instytucjach kultury m.in. w Bibliotece Narodowej, Muzeum Narodowym i Muzeum Historii Fotografii w Krakowie, na Zamku Królewskim oraz Muzeum Warszawy w Warszawie, w Muzeum Architektury we Wrocławiu, Muzeum Śląskim w Katowicach oraz Muzeum Narodowym w Gdańsku.

Wracając do najważniejszych problemów podnoszonych podczas dyskusji prowadzonych przez profesjonalistów, można od razu stwierdzić, że opisany powyżej workflow jest na dzień dzisiejszy nieosiągalny ze względu na brak środków finansowych. Pojawia się pytanie, jak wobec tego digitalizować?

Celem wielu instytucji jest udostępnienie swoich zasobów w Internecie w jak najkrótszym czasie. Zatem istotna jest ilość możliwych do zdigitalizowania zbiorów. W momencie kiedy konkretna instytucja nie dysponuje narzędziami do weryfikacji jakości, należy zastanowić się nad sensem skanowania do plików TIFF, które z racji bezstratnego zapisu danych generują wielkie pliki w porównaniu do plików RAW. Ich rozmiar nie pozwala na oszczędności przestrzeni dyskowej przy archiwizacji, co więcej, pliki te nie zachowują jakości, ponieważ wykonany skan jest nieweryfikowalny w inny sposób niż poprzez ocenę wizualną. Dodatkowym czynnikiem w przypadku digitalizacji negatywów pojawia się wyzwanie związane z „oryginalną” odbitką pozytywową – czyli, co autor miał na myśli, jaką odbitkę zaakceptowałby jako oryginał? Przy skanowaniu negatywów możemy mówić wyłącznie o interpretacji obrazu z negatywu. Każdy skanerzysta, fotograf będzie próbował inaczej ustawić kontrast, nasycenie i inne parametry. Negatyw jest zapisem nie zawierającym danych, które pozwalałyby na obiektywną zamianę w obraz pozytywowy. Tylko zapis cyfrowy w formie negatywu (zapis w pliku RAW ze wzorcem) pozwala na  stworzenie wiernej kopii cyfrowej negatywu. Jest to proces w pełni zabezpieczający przeznaczony do głębokiej archiwizacji cennych obiektów muzealnych.

Jeśli zatem każdy obraz pozytywowy jest interpretacją autorską skanerzysty (a nie autora fotografii), to co pozwala na wykonywanie skanów zapisywanych w formacie TIFF? Odbiorca sięgający do zbiorów za pośrednictwem Internetu jest zainteresowany bardziej treścią zdjęć niż wierną kopią oryginału – co więcej, w żaden sposób nie jest w stanie ani ocenić, ani tym bardziej zweryfikować autentyczności w odniesieniu do oryginału.

Taka weryfikacja możliwa jest jedynie z wykorzystaniem wzorników i oprogramowania. Odwzorowanie barwne określa się obliczając różnicę (Delta E) między wartościami barwnymi pól oryginalnego wzornika z wartościami odczytanymi ze skanu zawierającego obraz tego wzornika. W przypadku FADGI 4 STAR średnia Delta E nie może być wyższa niż 3, w przypadku najwyższego poziomu METAMORFOZE winna być niższa niż 4.

Kolejnym ważnym parametrem jest wymagana rozdzielczość. W przypadku FADGI 4STAR – to 400ppi, FADGI 3STAR- 300ppi. Wymagania te oraz sposób ich weryfikacji zostały określone biorąc pod uwagę konieczność posiadania godnych zaufania wzorników oraz oprogramowania w celu prowadzenia obiektywnych pomiarów. Były pracownik działu badań firmy Kodak, Don Williams prowadzi firmę ISA (Image Science Associates), która wytwarza niezbędne wzorniki i oprogramowanie pozwalające na automatyczną analizę parametrów wymaganych przez FADGI oraz korygowanie błędów.

Wracając do Zarządzenia Naczelnego Dyrektora Archiwów Państwowych możemy stwierdzić, iż tablice z załącznika nr 8 w zarządzeniu (tzw. wzorki paskowe) nie zawierają informacji niezwykle ważnych dla oceny jakości prowadzonej digitalizacji: ich pola barwne nie mają wydrukowanych współrzędnych koloru, wobec tego nie jest oczywiste, jak je oceniać. Tablice barwne firmy ISA posiadają wartości każdego z pól podane zgodnie ze schematem Lab. To pozwala na sprawdzenie koloru w dowolnym momencie, nawet za kilkadziesiąt lat. Znając współrzędne koloru oryginalnych tablic wzornika można zmierzyć próbkę na skanie i sprawdzić jakość odzwierciedlenia kolorów w dowolnym kalkulatorze Delta E. Tablice te firmy zawierają również cechy pozwalające na mierzenie rozdzielczości i ostrości urządzeń digitalizacyjnych. Wymienione w załączniku do Zarządzenia wzorce paskowe nie posiadają tych danych.

Do tablic firmy ISA został stworzony specjalny program do prowadzenia pomiaru wartości parametrów na skanach, który automatycznie weryfikuje jakość wykonanej kopii cyfrowej. Poniżej podajemy przykład jak wygląda graficzny raport z oceny prawidłowości odwzorowania barwy oraz luminancji w porównaniu z oryginałem:

Brak analogicznego oprogramowania oraz niestosowanie przy digitalizacji tablic testowych nie pozwala na weryfikację, czy wykonywane skany zapewniają prawidłowe odwzorowanie oryginałów.

W mojej ocenie należy w instytucjach prowadzących digitalizację wprowadzić ocenę zawartości zbiorów i podzielić je na 2 kategorie. Pierwsza kategoria obejmowałaby materiały przeznaczone do udostępnienia odbiorcy w Internecie. W tym przypadku wytyczne techniczne powinny ograniczyć się do ustawień automatycznych skalibrowanych skanerów i zapisywać wyniki digitalizacji wyłącznie w plikach skompresowanych tzw. lekkich, typu JPEG lub JPEG 2000.

Druga kategoria to głęboka archiwizacja najcenniejszych zbiorów wykonywana zgodnie z wysokimi standardami (zapis plików RAW o 16-bitowej głębi koloru, z zastosowaniem właściwych wzorników oraz zapisem raportów z prowadzonych prac z informacją o wartościach Delta E i MTF).

Jeśli najcenniejsze zbiory można liczyć w tysiącach, a nie milionach obiektów, to warto zastanowić się nad mobilnym zestawem na potrzeby polskich archiwów, przy wykorzystaniu którego można wykonać digitalizację najcenniejszych zbiorów. Propozycja przeprowadzenia oceny zbiorów odnosi się wyłącznie do obiektów następujących typów: negatywów, odbitek fotograficznych, map, grafik, obiektów płaskich.  Mikrofilmy ze względu na zawartość głównie aktową nie muszą być reprodukowane z wiernym odwzorowaniem np. barwy papieru.

Dodatkową istotną kwestią pojawiającą się w dyskusjach jest czas pracy skanerzysty. Jestem przekonany, że człowiek pracujący z obrazem nie może pracować przy zadaniach bezpośrednio związanych z oceną jakości dłużej niż 4 godziny dziennie. Wynika to z percepcji wzrokowej i naturalnego zmęczenia wzroku. Z tego powodu w postprodukcji obrazu filmowego przyjęto zasadę, że kolorysta w domu postrpodukcyjnym powinien pracować nie dłużej niż 4 godziny. Po takim czasie nie jest w stanie rozróżniać niuansów barwnych i traci punkt odniesienia. Z tego powodu po maksymalnie 4 godzinach spędzonych przy monitorze komputera skanerzysta miałby możliwość opracowywać zeskanowany materiał oraz zajmować się przygotowaniem kolejnych zbiorów do digitalizacji.

W Zarządzeniu powinny zostać wprowadzone osobne rozdziały dotyczące przygotowania materiałów archiwalnych w zależności od rodzaju zbiorów – nie ma potrzeby, aby wszyscy czytali o paginacji i foliacji, gdy zajmują się wyłącznie skanowaniem negatywów. Powinno się także wprowadzić części opisujące rekomendacje, zalecania i nakazy dotyczące fotografii, materiałów audiowizualnych (zarówno taśm filmowych, jak i magnetycznych), materiałów dźwiękowych oraz dokumentacji aktowej. Należy  także wprowadzić  rozdział jasno określający sposób oceny zawartości i wagi materiałów archiwalnych z punktu widzenia planowanej digitalizacji. Kto może nadać kategorie, które pozwolą przygotować materiał do digitalizacji „szybkiej” i digitalizacji, przy której kładzie się nacisk na jakość i prowadzenie jej zgodnie z przyjętymi wysokimi standardami wierności.

Nie bałbym się skanowania więcej niż jeden raz, czyli przeprowadzenia w krótkim czasie skanowania wszystkich negatywów na potrzeby oceny zawartości materiału, a następnie wyboru najcenniejszych prac w celu przeprowadzenia digitalizacji wysokiej jakości, tak, aby można było wykorzystać powstające pliki w publikacjach, wystawach itp. Jeśli część materiałów archiwalnych jest zbyt delikatna, aby wykonać dwie digitalizacje, należy przeprowadzić ocenę oryginalnych materiałów pod tym względem i określić, w jakiej jakości ma być przeprowadzona digitalizacja.

Wychodząca poza zakres tego tekstu kwestia digitalizacji filmu to proces bardzo skomplikowany i kosztowny. Wymaga bardzo drogiego sprzętu (koszty szacowane są w milionach złotych), bardzo specjalistycznej wiedzy i udziału przeszkolonych fachowców. Wobec tego rozwiązaniem mogło by być powołanie centralnego archiwum digitalizacji audiowizualnej do wykonywania tego typu prac. Digitalizacja audiowizualna obejmuje również materiały z nośników magnetycznych typu VHS, BETACAM itd. Na podstawie wiedzy wynikającej z udziału w dyskusji profesjonalistów nie widzę zapotrzebowania na wysoką jakość zapisu typu zapisu. Uważam, że zapis w rozdzielczości HD (1920×1080) w kodeku mp4 (standardowo używanym na kanale internetowym Youtube) jest w zupełności wystarczający – jest to zapis stratny, jednak korzyści wynikające ze zmniejszenia objętości  pliku końcowego są istotne. Nie ma potrzeby generowania wielkich plików o bezstratnym zapisie (DPX) lub w małej kompresji (PRORES 444 i inne). Materiały filmowe wg mojej wiedzy są digitalizowane głównie w firmach zewnętrznych, skanowanie często odbywa się w TVP.

Z innych kwestii związanych z digitalizacją muszę jako specjalista od fotografii i filmu odnieść się do kwestii poruszonych w Zarządzeniu w rozdziale 4 oraz załącznikach nr 1 i 2: zapisy w paragrafie 10 pkt 2 podpunkt 2 wskazują na stosowanie światła stałego, nie błyskowego, co wskazywałoby na zamiar wyeliminowania światła błyskowego. Nie wiadomo, jaki jest tego powód, być może obawa przed wpływem silnego światła na bezpieczeństwo obiektów (czy chodzi promieniowanie UV, czy o inne względy). Jednakże na rynku dostępne są systemy, które gwarantują powtarzalność ekspozycji oraz eliminację promieniowania UV, a ich zalety przeważają nad zagrożeniami i nie powinny być wykluczone z użycia.

„Cyfrowa kopia wzorcowa” opisana w Zarządzeniu nie spełnia wymagań „wzorcowości”, gdyż plik, który nie zawiera wzornika pozwalającego na sprawdzanie oprogramowaniem wartości Delta E oraz MTF, zapisany w formacie innym niż 16-bitowy RAW nie umożliwia obiektywnej oceny plików ani wprowadzania korekt w „cyfrowym wywoływaniu” do formatów w rodzaju TIFF czy JPEG. Zapisywanie w formatach bezstratnych plików niespełniających definicji prawdziwej kopii wzorcowej nie ma moim zdaniem sensu.

Jeśli chodzi o zapisy w załączniku nr 1, można przyjąć, że digitalizację na potrzeby tzw. 2 klasy wystarczy wykonywać w przestrzeni barwnej sRGB. Rozdzielczość powinna wynosić 600 ppi, pliki winny być zapisywane z kompresją z głębią ośmiu bitów na kanał (pliki 24-bitowe). Prawdziwe kopie wzorcowe w najwyższej jakości digitalizacji powinny być rejestrowane w najszerszym możliwym gamucie np. PROPHOTO RGB i zapisywane w plikach o głębi 16 bitów na kanał. W przypadku negatywów  rozdzielczość 2400ppi jest wystarczająca do oceny treści materiału, w ostatecznej digitalizacji powinna być zdecydowanie wyższa, z zapisem w pliku stratnym. W przypadku mikrofilmów nie widzę potrzeby zapisu w TIFF, także dlatego, że w przypadku szybkich skanerów sprzęt nie jest w stanie sprawnie pracować ze względu na szybkość zapisu. Pliki takie powinny być  zapisywane w wyższej rozdzielczości, ale w stratnych formatach plików.

Zapisy załącznika nr 2 dotyczące odwzorowania odcieni nie biorą pod uwagę, że nie ma możliwości pracy na subtelnych gradientach, odcieniach, jeśli komputer nie jest wyposażony w kartę graficzną pracującą natywnie w kolorze dziesięcio bitowym. Większość monitorów jest 8-bitowa i nie jest w stanie wyświetlić obrazu bez widocznych artefaktów (tzw. schodki przy gradientach). Niezbędne jest wprowadzenie zalecenia, że komputer przy stanowisku do digitalizacji powinien być wyposażony w kartę graficzną natywnie pracującą z 30-bitową głębią koloru (10 bitów na kanał barwny).

Do generowania profili nie jest wystarczający wzornik typu 24-polowego ColorChecker, lecz wzornik o większej liczbie pól (np. 140-polowy wzornik Color Checker Digital SG). Jednocześnie chcę podkreślić, że generowanie profilu DNG nie jest prawidłową ścieżką postępowania. Zaleca się profil ICC, który włącza się w oprogramowaniu do konwersji pliku z RAW do innych formatów. Przy użyciu profilu ICC można weryfikować wykonane zdjęcia w programie do sprawdzania i oceny reprodukcji barw z wynikiem podawanym w Delta E. Powinno określić się, jakie wzorniki są dopuszczalne i do czego są przeznaczone (z przykładowymi zapisami typu: wzornik X można sprawdzić w oprogramowaniu Y, zaleca się używanie wzornika X do prac wysokiej jakości, aby móc stwierdzić osiągnięcie określonego poziomu Delta E wg standardu Z oraz wygenerować raport dla NAC do dokumentacji umieszczonej w repozytorium cyfrowym, np. w ZoSIA).

Konkluzje i zalecenia:

• ustalenie strategii budżetowej na najbliższe lata uwzględniając pilną potrzebę wymiany starych urządzeń, które są zbyt wolne i nie pozwalają na prowadzenie digitalizacji w założonym tempie i w wystarczającej jakości
• zapewnienie każdej instytucji niezbędnej ilości sprzętu i możliwości odnawiania parku maszynowego (dyski twarde, nowe urządzenia digitalizacyjne, monitory, komputery, gdyż wszystkie te urządzenia ulegają naturalnemu zużyciu)
• w przypadku archiwów (a może także innych instutucji kultury) powołanie komisji ds oceny materiałów, tak aby móc odseparować najcenniejsze materiały przeznaczone do digitalizacji wg najwyższych standardów, wprowadzenie dwóch standardów wykonywania digitalizacji: wyższego (np. zgodnego z poziomem FADGI 4STAR), drugiego „szybkiego” z zapisem danych w plikach ze stratną kompresją
• opracowanie polskiego standardu digitalizacji (obejmującego wytworzenie wzorników i oprogramowania)
• stworzenie mobilnego zestawu do digitalizacji dla archiwów
• wprowadzenie 4-godzinnego limitu pracy przy monitorze dla obób zajmujących się digitalizacją (skanerzyści i fotografowie)
• opisanie i wprowadzenie w Archiwach opisów postępowania przy digitalizacji, w tym dotyczących przygotowania materiałów dla fotografii, filmu i wideo, audio, materiałów aktowych
• rozważenie możliwości wyspecjalizowania ośrodków na terenie kraju wg ich zasobów. Konsekwencją byłoby powstanie centrów specjalizujących się w digitalizacji fotograficznej lub digitalizacji poszczególnych rodzajów materiałów, np. map, co wiązałoby się z zakupem specjalistycznego sprzętu do poszczególnych ośrodków

◊◊◊

Artykuł powstał w ramach realizacji przez Bibliotekę Narodową projektu „Patrimonium – digitalizacja i udostępnienie polskiego dziedzictwa narodowego ze zbiorów Biblioteki Narodowej oraz Biblioteki Jagiellońskiej” współfinansowanego ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Polska Cyfrowa 2014-2020 oraz budżetu państwa.

◊◊◊

Dofinansowano ze środków Ministra Kultury i Dziedzictwa Narodowego.