Opmerking

Reactie van Leon van Oosterom op 21 April 2009 op 16.33

Is absoluut waar, je weet op voorhand niet welke documenten van historisch belang gaan worden. Het door mij aangehaalde kippenhok was dus een slecht voorbeeld (touché ;)).
Natuurlijk dient een zorgvuldige afweging gemaakt te worden zoals o.a. is beschreven in de Beleidsregel vervangingv 11_definitief.pdf

Ik kan in de Beleidsregel vervangingv 11_definitief.pdf echter niet vinden wat de toe te passen bestandsformaten zijn, zou je dan niet automatisch terugvallen op de eerder genoemde Beleidsregel van het Rijk?

Voor wat betreft de kwaliteitsindex, deze is in Nederland rond de eeuwwisseling voor het eerst gehanteerd door van “Buuren Documentaire Systemen”, waar ik indertijd zelf deze methodiek heb geïntroduceerd als onderdeel van de standaard kwaliteits borgingsprocedure. Het hanteren van dergelijke kwaliteitsindexen juich ik van harte toe.

De betreffende kwaliteitsindex zegt iets over de toe te passen resolutie in relatie tot de tijdens scanning gehanteerde bitdiepte. Het is tot nu toe de enige manier om op voorhand te berekenen wat de toe te passen scanresolutie dient te zijn om te kunnen voldoen aan een vooraf vastgestelde kwaliteitsnorm. Ook wanneer kleurcompressie wordt toegepast kan aan het hoogste kwaliteitscijfer worden voldaan volgens diezelfde index. Helaas zijn er geen standaard formules voor het berekenen van een eventuele toe te passen compressie, althans ik ben ze nog niet tegen gekomen.

Bij zwart/wit scanning wordt wereldwijd het tiff ITU T6 formaat gebruikt. Ook wel groep 4 genoemd. Dit is een wijze van scanning die in het kader van het één op één vastleggen van iedere bit verliesloos opslaat. Ook in dit bestandsformaat wordt compressie toegepast. Bij het creëren van het bestand wordt een telling gehouden van het aantal malen dat een witte pixel, of een zwarte pixel achter elkaar wordt weggeschreven, dit geschiedt zowel horizontaal als verticaal. Deze verzamelde waarden worden vervolgens opgeslagen in het bestand in plaats van de waarde per pixel. Het resultaat van deze wijze van opslag is dat een pagina A4 uiteindelijk resulteert in een bestandsgrootte van tussen de 30Kb en 60Kb bij scanning op 200 DPI. Wanneer het bestand niet volgens de ITU T6 norm wordt opgeslagen maar als uncompressed tiff bestand zal de bestandsgrootte circa 1,1 Mb zijn

Ik heb niet getracht een bestaand rekenmodel toe te passen op een toekomstige standaard. Ik zie bij voortduring aanbestedingsdocumenten waar volledige kleurscanning in ongecomprimeerde vorm als harde eis wordt neergelegd. Vaak zelfs zie ik verwijzingen opgenomen naar de kwaliteitseisen van Bureau Metamorfoze. Begrijp me goed ik sta vierkant achter die eisen, daar waar het aankomt op voor de eeuwigheid vast te leggen documenten. Het gaat me echter te ver als je bijvoorbeeld gevraagd wordt om die verwerkingsmethodiek te hanteren voor de cliëntendossiers van een gemeentelijke afdeling Werk & Inkomen.

Het kostenaspect speelt dus vaak nu. Ik herhaal het rekenvoorbeeld van huidige documentscanners die maar op 10% van hun kunnen presteren bij ongecomprimeerde kleurscanning.
Vanuit mijn professie heb ik nog nooit zip-achtige bestanden of Pst bestanden aanbevolen als archief bestandsformaat. Wel ben ik een warm voorstander van het PDF-A formaat. Ik ben het dus volledig eens met het uitgangspunt dat er moet worden gewerkt volgens vastgestelde procedures en genormeerde richtlijnen.

Bij vastlegging op microfilm wordt alle kleurinformatie weggegooid en wordt de hoeveelheid grijswaarden belangrijk verminderd. Reproductie van een document vanaf microfilm leidt dus per definitie niet tot een “authentiek” formaat. Ik ben zeker dat met een kleurscan en conservatieve compressie per definitie een meer “authentiek” document kan worden gereproduceerd dan vanuit zwart wit scanning of vanaf microfilm.

Reactie van Chido Houbraken op 21 April 2009 op 14.09

Naast het door Ingmar en Rutger genoemde nog het volgende:
1. De reikwijdte van de door Leon aangehaalde Beleidsregel beperkt zich tot het Rijk en tot "on the fly" substitutie, ofwel doorlopende vervanging, en geen backlog scanning. De direct gedigitaliseerde binnenkomende poststroom, dus. Dat maakt het meteen moeilijk om te bepalen of je de bouwaanvraag van het kippenhok van de later beroemd geworden Michiel Adriaanzoon de Ruyter aan het vervangen bent of niet. Ik zou waardering op cultuurhistorische basis dan ook buiten deze discussie willen houden.
2. De rest van de overheden hanteren de Provinciale Beleidsregel en daarin staan geen "absolute" waarden, maar wordt uitgegaan van een kwaliteitsindex (blz. 11 noot 13 http://www.lopai.nl/pdf/Beleidsregel_vervanging_v11_definitief.pdf). Ben benieuwd wat dat betekent voor de bestandsgrootte e.d.
3. Ik vraag me af of een gewoon zwartwit document (99,9% van het papieren archief) leidt tot 25mb bestanden als ze gedigitaliseerd worden volgens de voorwaarden in het voorbeeld van Leon.
4. Volledige backups e.d. zijn niet nodig bij redundante uitvoeringen van je informatiebeheersysteem. En daar gaat het toch echt naar toe; ook voor kleinere organisaties.
5. Zeker bij automatisering/digitalisering zie je een tendens dat bij massaler gebruik de kosten omlaag gaan. Ik geloof dan ook niet in de huidige waarden en rekenmodellen die overgeplant worden op een nog niet aanwezige standard operating procedure.
6. Het feit dat een digitaal origineel naar verhouding enorme afmetingen heeft, wil niet zeggen dat de gebruikskopie dat ook heeft. Voor mijn part maakt men van het 25mb kleuren-A4-tje een 20kb gecomprimeerd zwartwit kopie voor raadpleging. Als je maar altijd terug kunt naar een authentiek en integer origineel.

Samengevat lijkt me dat bestandsgrootte niet het probleem is, terwijl compressie een doorlopend aandachtspunt van beheer zal zijn. (Ik heb althans thuis zowel zip-achtige (toen heel gangbaar) als pst-bestanden die ik niet meer volledig leesbaar openkrijg, terwijl de ongecomrimeerde bestanden geen noemenswaardige belasting van mijn opslagcapaciteit zouden opleveren.)

Reactie van Rutger op 21 April 2009 op 12.04

De kern van het digitaliseren in het kader van substitutie is nu juist dat papieren archiefbescheiden die voor bewaring in aanmerking komen (met andere woorden: op termijn "vooral cultuurhistorisch van waarde" worden in plaats van "waardevol in het proces van besluitvorming, bewijsvoering binnen het actuele administratieve proces" .
Na digitalisering in het kader van substitutie volgt in principe vernietiging van het papieren origineel, waardoor herstel op basis van het origineel per definitie onmogelijk is geworden. Daarom mag het ietsje meer kosten

Reactie van Leon van Oosterom op 18 April 2009 op 17.04

Ik begreep de portee. Echter in een goed "imaging project" worden een aantal cruciale zaken zorgvuldig geborgd.
Zonder nu in detail de processtappen te willen beschrijven dienen er minstens keuzes gemaakt te worden voor onder andere:

Zorgvuldige kwaliteitscontrole op de volgende zaken:
1. Volledigheid van scanning
2. Voldoen aan specificaties
3. Voldoen aan imagekwaliteit (leesbaarheid)
4. Voldoen aan formaatspecificaties (b.v. PDF-a)
5. Leesbaarheid outputbestanden
Daarnaast hoort in een omgeving met een digitaal archief absoluut ook een adequate back-up voorziening getroffen zijn.

Fouten in decompressie van opgeslagen bestanden zullen waarschijnlijk niet uit te sluiten zijn. Ik ben het echter in de praktijk van 25 jaar ervaring nog niet tegengekomen als significant probleem.

Ik ben het dan ook niet echt met de schrijvers van “The Significance of Storage in the ‘Cost of Risk’ of Digital Preservation” eens, dat het dan maar beter is om de extra kosten van storage te dragen omdat deze toch elke 18 maanden halveert. Het gaat niet alleen om de opslagkosten, het gaat ook om de verwerkbaarheid in het proces van creatie.

In een gemiddeld imaging traject wordt een file vele malen geopend, ver/bewerkt, gelezen, weggeschreven, “gebackupped” om maar een lelijk woord te gebruiken, enzovoort. Al die handelingen kosten veel meer processortijd dan het geval is bij gecomprimeerde bestanden. Denk even aan het voorbeeld uit de start van deze blog. Een typische high volume documentscanner kan images met een jpg/jp2000 compressie produceren met een snelheid van 130 vel per minuut. Dat betekent 260 images per minuut wanneer dubbelzijdig gescand wordt. Wanneer dezelfde scanner de images echter wegschrijft naar ongecomprimeerde tiff bestanden duikt de productiesnelheid naar beneden tot nog maar een magere 10 vel per minuut. Dat zou dan betekenen dat een scankostprijs van normaliter € 0,03 per image verhoogt wordt tot € 0,39. Als je alleen dat prijsverschil loslaat op een archief van 100 strekkende meter, dan praat je al over een kostenverhoging van meer dan € 160.000. Let wel dan hebben we het nog niet gehad over de kosten van processing zoals kwaliteitszorg, OCR, PDF-a creatie, indexeren enzovoort.

In een tijd dat geld steeds duurder wordt, ben ik ervan overtuigd dat we het beter zouden kunnen en moeten doen dan we tot dusver hebben gedaan. Dat betekent in mijn ogen dan ook dat een zeker -relatief klein- risico geaccepteerd moet worden. Ik heb het bij deze stelling overigens niet over cultuur historische stukken.

Reactie van Leon van Oosterom op 17 April 2009 op 16.01

De keuze ligt toch iets eenvoudiger. We vinden het goed dat zwart wit scanning wordt toegepast waarbij 15.999.998 kleurnuances worden weg gefilterd maar we vinden het fout als alleen de optisch zichtbare kleurnuances worden weg gefilterd.

Het gaat er mij om, te komen tot een gedocumenteerde en algemeen geaccepteerde standaardisatie waarbij we met het relatief beperkt beschikbare gemeenschapsgeld tot een zo groot mogelijke efficiencyslag kunnen komen.

Reactie van Leon van Oosterom op 17 April 2009 op 9.40

Heren, dank voor de uitgebreide reactie op mijn eerste blog op dit forum.
er zijn een aantal dingen te zeggen bij de discussie over kleur en compressie of zwart wit.

Tot op dit moment groeit de papierberg in Nederland alleen nog maar, ook bij het zaakgericht werken zal die groei niet afnemen. Wat ik dan opmerk is dat er verschillende bewegingen in Nederland actief zijn in het opstellen van regels teneinde digitale vervanging mogelijk te maken. Enerzijds is daar het uitmuntende werk van bureau Metamorfoze dat tot in detail voorschrijft onder welke condities cultuur historische materialen verwerkt dienen te worden, anderzijds de vele regionale of gemeentelijke instellingen die pogen om de toegankelijkheid van bestaande overheidsarchieven te verbeteren.

Mijn overwegingen zijn geschreven vanuit de gedachte dat je niet dezelfde eisen moet willen opstellen aan het scannen van een werktekening van een aangebouwd kippehok als je zou doen bij de handschriftelijke materialen van Michiel Adriaanszoon de Ruyter.
In het micrografisch tijdperk kon men een machtiging voor substitutie aanvragen, gebaseerd op vastlegging van de archiefmaterialen op zwart/wit microfilm. De eisen aan de vervaardiging op microfilm waren, en zijn nog steeds, heel streng, maar er werd wel geaccepteerd dat kleurinformatie volledig wegviel. Daarbij dient nog opgemerkt te worden dat de reproductieapparatuur voor printen vanaf microfilm kwalitatief bepaald niet optimaal was, tenminste als je die kwaliteit vergelijkt met de afdrukkwaliteit van huidige standaard -niet geijkte- kantoorprinters.

Ik weet, en pas dat ook regelmatig toe, dat veel archieven zich uitstekend in zwart/wit laten scannen. Als daarmee een project economisch haalbaar wordt gemaakt en je kunt daarmee ook nog voldoen aan de thans geldende regels voor substitutie, is daar niet zo heel veel op tegen. Toch denk ik dat het een gemiste kans is om kleurscanning met een kwalitatief goede compresssie niet toe te staan voor het gemiddelde overheidsarchief. Een document in kleur gescand geeft de gebruiker veel meer de "look and feel" van het oorspronkelijke document, verhoogt daarmee de leesbaarheid vanaf een beeldscherm en zal daardoor per definitie bijdragen aan de toegankelijkheid en raadpleegbaarheid van het archief.

Daarnaast is er nog een zeer belangrijke overweging. De bestaande archieven bevatten vaak ook oudere materialen, of materialen van minder tijdsbestendige afkomst, denk aan carbondoorslagen, faxen of kopieën uit het zink-oxyde tijdperk. De fouttolerantie bij scanning in kleur ten opzichte van scanning in zwart/wit neemt af met een factor 5 tot 10. Dat wil zeggen dat er een wezenlijk verschil is tussen het aantal pagina's dat niet geheel of geheel niet onleesbaar zal zijn bij scanning in zwart/wit vergeleken met scanning in kleur.
Als laatste nog dit; Wanneer scanning in ongecomprimeerd formaat blijft voorgeschreven, dan dient men zich te beseffen dat het niet alleen maar de gigantische geheugencapaciteit is die een negatief effect zal hebben op het kostenaspect. Ongeacht of de scanning wordt uitbesteed of in huis wordt opgezet, er wordt een zware wissel getrokken op de netwerkapparatuur en software die de output van de scanners dienen te verwerken. Deze "processing" werkt dus kostenverhogend . Uit ervaring weet ik dat de gemiddeld aanwezige netwerken en werkstations eenvoudigweg niet geschikt zijn om om te gaan met de gigantische bestandsvolumes die ongecomprimeerd scannen oplevert.

Ik heb vele aanbestedingsdocumenten voor het scannen van gemeentelijke archieven onder ogen gehad waar voor het gemak maar de substitutie eisen van bureau Metamorfoze in waren opgenomen. Die eisen zijn conflicterend met de wens om zo economisch mogelijk over te gaan tot uitvoering. Mijn streven is om te komen tot een werkbare standaard tussen de beide uitersten in, dus meer dan zwart/wit en minder dan ongecomprimeerd kleur.

Reactie van Chris Hermsen op 16 April 2009 op 21.08

Beste Leon, vooropgesteld dat 300 dpi gemiddeld genoeg is om een reproductie te kunnen vervaardigen die het origineel zo dicht mogelijk benaderd, is zelfs hier sprake van een onzekere factor. De kwaliteit en instellingen (ijking) van het reproducerende uitvoerapparaat spelen hierin een wezenlijke rol. Ik ga hierbij overigens uit van professionele grafische reproductietechnieken.

Ten aanzien van de problematiek m.b.t. benodigde opslagkwaliteit voor grote kleurendocumenten versus gebruiksvriendelijkheid zou ik twee opmerkingen willen maken.

1. Cruciaal is de vraag; wat voegt de kleur in essentie aan informatieve waarde toe aan een document?
Daar waar kleurenfoto's of kleurfonds ter opleuking van informatie wordt toegepast is mijn advies;
kies gewoon voor zwart wit. Dit is wellicht niet altijd eenvoudig door de gemiddelde div'er te beoordelen
maar het loont de moeite om de dialoog met de behandelend ambtenaar aan te gaan.

2. Mocht dan toch blijken dat omwille van GEO- info de kleur inhoudelijk iets toevoegt over
bijvoorbeeld bodemgesteldheid dan is er altijd nog de optie om naast de opgeslagen high-res versie
een lage resolutieversie beschikbaar te stellen die probleemloos en snel op het scherm geraadpleegd
kan worden en meestal ook nog redelijk acceptabel op de kantoorprinters kan worden uitgeprint.

met vriendelijke groet, Chris Hermsen