Kunstig intelligens ser på Nasjonalmuseets samling
Nasjonalmuseet tar i bruk kunstig intelligens for å gi et nytt perspektiv på samlingen. I et eksperiment museet har utført i samarbeid med maskinlæringsspesialist Audun Mathias Øygaard og teknolog og designer Even Westvang i Bengler, analyseres de digitale bildene via bruk av nevrale nettverk og algoritmer.
Et resultat av prosjektet er det nye brukergrensesnittet på nettsiden vy.nasjonalmuseet.no.
Algoritmer analyserer likhetstrekk i bildene og visualiserer dette i Nasjonalmuseets nettsted. Her kan du se hele samlinger under ett, vandre rundt i nabolag i samlingene, eller zoome inn på detaljer i enkeltverk. Applikasjonen er utviklet av Nasjonalmuseet og Bengler i det Kulturrådsstøttede prosjektet Prinsipalkomponenter.
For å lette det tidkrevende, Sisyfos-liknende arbeidet med å publisere mest mulig kunstfaglig kataloginformasjon ønsket museet å prøve ut maskinelle metoder for høsting og formidling av samlingsdata.
Som et utgangspunkt for å forsøke å trene opp en algoritme til å analysere bildene, tok man i bruk et nevralt nettverk trent på ImageNet, utviklet av Autonomous Perception Research Lab ved Berkeley. Deretter retrente man dette på klassifiseringer av kunstretninger i bilder fra The Wikiart collection.
Museet eksperimenterte også med ulike resultater av ansiktsgjenkjenning, gjennom nevrale nettverksfunksjoner fra OpenFace. De analyserte komposisjon, fargebruk og stil ved hjelp av «neural style». Med dette fikk man testet ut bildegjenkjenning innenfor rammer for figurer, ansikt, humør, alder, kjønn og typiske/utypiske verk per tiår. Algoritmen identifiserte og markerte deretter motiver i Nasjonalmuseets egen samling.
Nettverket ble også trent på klassifiseringer av kunstretninger, for så å legge til en visning med en t-SNE-algoritme (t-distributed stochastic neighbor embedding). T-SNE-algoritmen tar mangedimensjonale systemer og reduserer dem til en todimensjonal layout. Den grupperer bildene etter motivlikhet, teknikk, komposisjon og fargebruk. Videre utforsket man visualiseringsmetodene 2d versus 3d t-SNE, «clustering» og museets nye «nabolag» av bilder, visualisert ved hjelp av et «fish-eye»-verktøy.
All verksinformasjon hentes ut fra DigitaltMuseums API. Applikasjonen oppdateres automatisk etter hvert som flere objekter fra samlingen publiseres.
Kildekoden ligger åpen og tilgjengelig på Github og kan gjenbrukes og videreutvikles av alle som har interesse av å eksperimentere med maskinsyn på kulturhistoriske samlinger:
Kilde: mynewsdesk.com
