Empirical Standards are brief public document that communicate expectations for a specific kind of study (e.g. a questionnaire survey). The ACM SIGSOFT Paper and Peer Review Quality Initiative generated empirical standards for common research methods in software engineering. These living documents, which should be continuously revised to reflect evolving consensus around research best practices, can be used to make peer review more transparent, structured, harmonious and fair.

BAKGRUNN: I krysningspunktet mellom matematikk, informatikk og statistikk finner vi den vitenskapelige disiplinen kunstig intelligens (KI). Sammen med de siste års eksplosive utvikling innen teknologi har KI muliggjort nye algoritmer, modeller og systemer for maskinassistert diagnostikk. Resultater fra KI basert på dype nevrale nettverk har vist spesielt stort potensiale, også for automatisk deteksjon av lesjoner og anatomiske landemerker i gastrointestinaltraktus under endoskopi. Med sensitivitet og spesifisitet for deteksjon av polypper i tykktarm
på over 90% møter slike metoder nødvendige kliniske krav, men mange eksperimenter er utført på begrensede datasett, eller analysert på feilaktig grunnlag grunnet manglende tilgang og forståelse hos informatikere. For å oppnå best mulig resultat er
et interdisiplinært samarbeid mellom klinikere og informatikere
en forutsetning. Informatikerne trenger medisinske innspill for å lage effektive systemer som fungerer ute i klinikken, og klinikerne trenger forståelse av systemet for å kunne stole på resultatet og stille pålitelige diagnoser. En stor utfordring for denne tilliten er
at fremgangsmåten til en KI-algoritme sees på som en svart boks hvor ingen nøyaktig kan dechiffrere hvordan systemet kom frem
til sin konklusjon.

METODE: Vi har gjennom mange år samlet en stor bilde- database fra endoskopier utført ved Bærum Sykehus, Vestre Viken HF. Bildene er gjennomgått og annotert av tre erfarne endoskopører og fordelt på 16 klasser, inkludert normal Z-linje, øsofagitt, normal cøkum, polypper og ulcerøs colitt. Deretter er bildene brukt til å utvikle, trene og teste KI-modeller. Modellene er basert på maskinlæring og dyp læring, en gren innen KI. Med vårt system Mimir, som kombinerer KI med informasjonssøk og

-gjenfinning, søker vi å lage et helhetlig beslutningsstøttesystem for endoskopører. Algoritmene analyserer videoer i sanntid, finner lesjoner, klassifiserer disse og gir skopøren live feedback om funn under undersøkelsen, slik at funnene kan undersøkes nærmere. Mimir presenterer deretter resultatene i egen programvare, og bruker blant annet “heatmaps” til å forklare hvordan konklusjonen er nådd, og er på den måten et bidrag på veien til å forstå hvordan KI-algoritmene fungerer. Videre jobber vi med å videreutvikle Mimirs støtte for automatisk rapportgenerering, med bilder
og standardtekst basert på funn fra undersøkelsen.

RESULTATER: Deteksjon og klassifisering for de 16 gruppene har vist en sensitivitet på 0,939 og en spesifisitet på 0,996. Algoritmene våre klarer å prosessere bildene i hastigheter på mellom 30 - 1000 bilder per sekund, raskt nok til å kjøre deteksjon i sanntid. En prototype av systemet er i samråd med klinikere testet ved å koble til et koloskopisystem ute i klinikken, og kan

nå analysere videoer i sanntid.

KONKLUSJON: Tester av våre system viser at KI kan bli et viktig hjelpemiddel for å bedre oppdage GI-forandringer, og generere automatiske rapporter i løpet av nærmeste fremtid. Dette kan fungere som viktig beslutningsstøtte for endoskopører, og kan brukes i opplæring av nye endoskopører. Den største begrensningen med KI er at vi per i dag ikke vet hvordan systemet kommer frem til sin konklusjon, som kan påvirke i hvor stor grad vi stoler på resultatet. Vi arbeider derfor med et helhetlig system som ikke bare hjelper legen med diagnostikk, men også forklarer hvordan konklusjonen er nådd, samt å generere automatiske rapporter fra undersøkelsen.