Wie als zoekopdracht ‘Hindeloopen’ intikt op CollectieGelderland, krijgt bijvoorbeeld een vrouw in Hindelooper dracht. Scroll je naar beneden, dan komen gerelateerde objecten uit de collectie tevoorschijn. Andere kledingstukken bijvoorbeeld, maar ook accessoires als hoeden en… ook een bloem: de echinacea purpurea oftewel de rode zonnehoed. Welkom in de wereld van automatische beeldherkenning.

Dwarsverbanden tussen collecties

Meestal zit het AI-programma wel goed met de trefwoorden die het toekent aan de afbeeldingen in CollectieGelderland, maar de betekenis ervan kan soms verschillen, zegt Tim Stapel lachend. ‘Het AI-programma analyseert een afbeelding en koppelt daar automatisch gegenereerde trefwoorden aan. Op basis van deze trefwoorden worden andere objecten uit de collecties aan onze sitebezoekers getoond. We willen zo bezoekers die browsen op de site, zonder een gericht doel, dwarsverbanden tussen de collecties in CollectieGelderland laten zien. En we hopen ze ook te verrassen.’

Geen monnikenwerk

Ook al verloopt het automatisch genereren van trefwoorden voor een half miljoen afbeeldingen nog niet helemaal perfect, een ding weet Tim zeker: handmatig was dit niet te doen geweest, want een monnikenwerk. En dus is ervoor gekozen dit werk door het programma Vision AI te laten doen. ‘Het is een heel andere manier van kijken naar een afbeelding: een mens zou vanuit zijn kennis een object en diens geschiedenis beschrijven, vanuit het AI-programma wordt puur gekeken naar de vormen en kleuren op de afbeelding.’

Hoe werkt het?

Softwareleverancier Picturae heeft voor Erfgoed Gelderland het proces van afbeelding tot trefwoord ingericht. Zodra een erfgoedinstelling een nieuwe afbeelding aan de database van CollectieGelderland toevoegt, wordt deze naar het AI-programma van Google gestuurd. Het programma voert een analyse uit, kent trefwoorden toe en zendt deze terug. Vervolgens worden de trefwoorden opgenomen in de centrale verzamelbak van CollectieGelderland. Via het collectiebeheersysteem Memorix Maior kunnen de collectiebeherende instellingen de trefwoorden zelf controleren en beheren. Driebit heeft ervoor gezorgd dat aan de voorkant van de site de gerelateerde objecten worden getoond.