BREED - over de grenzen van informatie
NETWERK VOOR DE INNOVATIEVE INFORMATIEWERKER
Steekproef scans en het acceptabele foutpercentage
Wie heeft er ervaring met het doen van een steekproef op de scans van de te vervangen archiefbescheiden? Dit wordt beschreven in de Handreiking vervanging archiefbescheiden van archief 2020, hoofdstuk 6 Inrichten van kwaliteitsprocedures. In paragraaf 6.2.5. wordt het doen van deze steekproef beschreven. Dat het van belang is dat er in geval van geconstateerde fouten of tekortkomingen niet veel werk overnieuw hoeft te worden gedaan. En dat het daarom belangrijk is om van te voren te bepalen wat een acceptabel foutpercentage is.
Dus hoe voer je zo'n steekproef uit, (waar let je op) en wat is een acceptabel foutpercentage? Ik hoor graag wat de ervaringen hiermee zijn en ben benieuwd naar de reacties!
Berichten in deze discussie
-
Permalink Antwoord van Yvonne Welings op
-
Vaak worden dit soort percentages vastgelegd in een kwaliteitssysteem.
Voorbeeld
- Zaken met een bewaartermijn van 1-5 jaar: 10 % controle;
- Zaken met een bewaartermijn van 1-10 jaar: 20 % controle;
- Zaken met een bewaartermijn van 10 jaar: 50 % controle;
- Zaken met permanente bewaartermijn 100% controle.
-
Permalink Antwoord van Leon van Oosterom op
-
Beste Johan,
Om een steekproef relevant te laten zijn is er een ISO methodiek om de grootte van de steekproef te bepalen. Hiervoor is het van belang een aantal cijfers te weten of vast te stellen. Namelijk de grootte van de hoeveelheid scans (aantal pagina's). Het beoogde betrouwbaarheidsniveau van de steekproef uitgedrukt in procenten (bijvoorbeeld 95%) en de toegestane foutmarge. Een beschrijving van deze methodiek vind je op Microsoft Word - 20190416_Omvang steekproef_AQL norm_DEF.docx (plei...
Zelf hanteer ik altijd een tweevoudige steekproef. dan start ik met het controleren van 5% van het aantal scans en indien de foutmarge wordt overschreden verhoog ik de steekproef naar 10%
Vaak toegepaste foutmarges worden vaak verdeeld over twee categorieën fouten. Ik maak daarbij zelf altijd het onderscheid tussen zware en lichte fouten. Bij zware fouten valt informatie deels of in zijn geheel weg of is niet leesbaar, of is de scanweergave verminkt ten opzichte van het origineel (bijvoorbeeld stitching problemen zichtbaar door verspringing van ononderbroken lijnen of regels) en bij lichte fouten is alle informatie nog leesbaar maar is sprake van meer cosmetische fouten, bijvoorbeeld verkeerde rotatie, scheefstand van pagina's, scannerstrepen en dergelijke. Zie onderaan dit bericht voor een vollediger opsomming.
De toegestane foutmarge kun je het best afstemmen met de archivaris, maar best practises zijn 3 promille voor zware fouten (dus 3 op de duizend) en 3 procent voor lichte fouten.
Visueel steekproefsgewijs controleren van scans:
Gecontroleerd dient te worden op:
1. Leesbaarheid van de images
2. Natuurgetrouwe weergave ten opzichte van het origineel
3. Volledigheid van de gescande documenten
Als eerste dient te worden bepaald wat aanvaardbare afwijkingen zijn. Je kunt hiervoor twee percentages hanteren. Een voor zogenaamde zware fouten en een voor lichte fouten. Zware fouten zijn eigenlijk alle fouten die de leesbaarheid van een document aantasten, bijvoorbeeld:
• het formaat van de bestanden of van de gegevens werd niet gerespecteerd (b.v. PDF in plaats van PDF/A)
• er is een incoherentie tussen de beelden en de namen van de bestanden
• één of meerdere pagina's ontbreken in een dossier
• de afmetingen van het beeld zijn niet conform de specificaties
• de resolutie is niet conform de specificaties
• het beeld staat meer dan 2° scheef ten opzichte van zijn as
• er is een geometrische vervorming van het beeld
• het beeld werd verminkt tijdens het scannen
• sommige tekstzones zijn niet leesbaar
Lichte fouten zijn alle fouten die de integriteit van het document niet benadelen, doch vanuit cosmetisch oogpunt ongewenst zijn, bijvoorbeeld:
• de ligging van het beeld is niet correct
• er zit een halo rond het beeld
• het ruisniveau is overdreven
• er zijn overblijvende sporen van de scanning- en behandelingsprocedure (strepen, banen, ruis...)
• het beeld is horizontaal niet gecentreerd en niet gealigneerd aan het bovenste deel aan de kantlijn
• het contrast en de helderheid zijn onaangepast
• onvoldoende helderheid
• er zijn interferentiezonesIk hoop dat je iets hebt aan deze informatie.
met vriendelijke groet
Leon van Oosterom
-
Permalink Antwoord van Johan Boomsma op
-
Hoi Leon,
Bedankt voor je uitgebreide reactie! En wat doe je dan bij de scans van de voor altijd te bewaren documenten? Moet daar niet alles van in orde zijn? Dus dat bij 1 geconstateerde fout alles wordt afgekeurd? En wat is het verschil tussen normal inspection level en special inspection level? Ik hoor het graag!
Groet,
Johan
Leon van Oosterom zei:Beste Johan,
Om een steekproef relevant te laten zijn is er een ISO methodiek om de grootte van de steekproef te bepalen. Hiervoor is het van belang een aantal cijfers te weten of vast te stellen. Namelijk de grootte van de hoeveelheid scans (aantal pagina's). Het beoogde betrouwbaarheidsniveau van de steekproef uitgedrukt in procenten (bijvoorbeeld 95%) en de toegestane foutmarge. Een beschrijving van deze methodiek vind je op Microsoft Word - 20190416_Omvang steekproef_AQL norm_DEF.docx (plei...
Zelf hanteer ik altijd een tweevoudige steekproef. dan start ik met het controleren van 5% van het aantal scans en indien de foutmarge wordt overschreden verhoog ik de steekproef naar 10%
Vaak toegepaste foutmarges worden vaak verdeeld over twee categorieën fouten. Ik maak daarbij zelf altijd het onderscheid tussen zware en lichte fouten. Bij zware fouten valt informatie deels of in zijn geheel weg of is niet leesbaar, of is de scanweergave verminkt ten opzichte van het origineel (bijvoorbeeld stitching problemen zichtbaar door verspringing van ononderbroken lijnen of regels) en bij lichte fouten is alle informatie nog leesbaar maar is sprake van meer cosmetische fouten, bijvoorbeeld verkeerde rotatie, scheefstand van pagina's, scannerstrepen en dergelijke. Zie onderaan dit bericht voor een vollediger opsomming.
De toegestane foutmarge kun je het best afstemmen met de archivaris, maar best practises zijn 3 promille voor zware fouten (dus 3 op de duizend) en 3 procent voor lichte fouten.
Visueel steekproefsgewijs controleren van scans:
Gecontroleerd dient te worden op:
1. Leesbaarheid van de images
2. Natuurgetrouwe weergave ten opzichte van het origineel
3. Volledigheid van de gescande documenten
Als eerste dient te worden bepaald wat aanvaardbare afwijkingen zijn. Je kunt hiervoor twee percentages hanteren. Een voor zogenaamde zware fouten en een voor lichte fouten. Zware fouten zijn eigenlijk alle fouten die de leesbaarheid van een document aantasten, bijvoorbeeld:
• het formaat van de bestanden of van de gegevens werd niet gerespecteerd (b.v. PDF in plaats van PDF/A)
• er is een incoherentie tussen de beelden en de namen van de bestanden
• één of meerdere pagina's ontbreken in een dossier
• de afmetingen van het beeld zijn niet conform de specificaties
• de resolutie is niet conform de specificaties
• het beeld staat meer dan 2° scheef ten opzichte van zijn as
• er is een geometrische vervorming van het beeld
• het beeld werd verminkt tijdens het scannen
• sommige tekstzones zijn niet leesbaar
Lichte fouten zijn alle fouten die de integriteit van het document niet benadelen, doch vanuit cosmetisch oogpunt ongewenst zijn, bijvoorbeeld:
• de ligging van het beeld is niet correct
• er zit een halo rond het beeld
• het ruisniveau is overdreven
• er zijn overblijvende sporen van de scanning- en behandelingsprocedure (strepen, banen, ruis...)
• het beeld is horizontaal niet gecentreerd en niet gealigneerd aan het bovenste deel aan de kantlijn
• het contrast en de helderheid zijn onaangepast
• onvoldoende helderheid
• er zijn interferentiezonesIk hoop dat je iets hebt aan deze informatie.
met vriendelijke groet
Leon van Oosterom
-
-
Hoi Johan,
Sorry voor mijn wat late reactie.
Voor zover mijn kennis reikt: er is in alle jaren dat ik ervaring heb met kwaliteitscontroles na bestandsconversies, zowel indertijd bij het overzetten van informatie op microfilm, als tegenwoordig bij het overzetten van analoge informatie naar digitale beelden altijd geaccepteerd dat een zeker promillage niet aan de kwaliteitsnormen zal voldoen. Een 100% score als vereist kwaliteitsdoel leidt tot bijzonder hoge kosten door de dan noodzakelijke 1:1 controle en herverwerking van afgekeurde beelden.
Ook het laten corrigeren van fouten die tijdens kwaliteitscontroles naar boven komen, maar die binnen de afgesproken marges liggen , leiden in mijn ogen tot een vals gevoel van veiligheid, immers als de steekproef bestaat uit 5% van de geproduceerde images, dan blijven de overige 95% aan potentiële "foute" images buiten beeld.
Ook in de handreiking vervanging archiefbescheiden wordt aangegeven dat er een relatie is tussen kosten enerzijds en het gewenste kwaliteitsniveau anderzijds. Aangeraden wordt met de toezichthoudende archivaris af te stemmen wat een acceptabel foutpercentage zal zijn voor de te converteren archiefbescheiden. Want yuiteraard is er ook een relatie te leggen met de aard van de archiefbescheiden en het te accepteren risico op verlies van informatie.
Groet
Leon van Oosterom
Johan Boomsma zei:Hoi Leon,
Bedankt voor je uitgebreide reactie! En wat doe je dan bij de scans van de voor altijd te bewaren documenten? Moet daar niet alles van in orde zijn? Dus dat bij 1 geconstateerde fout alles wordt afgekeurd? En wat is het verschil tussen normal inspection level en special inspection level? Ik hoor het graag!
Groet,
Johan
-
Permalink Antwoord van Denny Schouten op
-
Beste Johan,
nog een wat late nabrander hierop. Als je een goed onderbouwde steekproefmethode wilt hanteren, zou je naar de AQL-methode kunnen kijken. Daarin wordt aangegeven welk percentage je moet controleren bij welk kwaliteitsniveau. Op internet is deze methode makkelijk te vinden. Wellicht kan dat je ook nog helpen.
met vriendelijke groet,
Denny Schouten
-
Permalink Antwoord van André Plat VNG-Realisatie op
Partner(s)
Sponsor(s)
Direct naar...
© 2024 Gemaakt door Marco Klerks.
Verzorgd door
