AI-based colon polyp detection systems have received much attention, and several products and prototypes report good results. In silico verification is a crucial step when developing such systems, but very few compare human versus AI performance. This paper, therefore, describes methods and results for an in silico test of an AI model with two different versions for polyp detection in colonoscopy and compares them to the performance of endoscopist doctors who reviewed the same colonoscopy video clips. The two versions have different thresholds for false positive rate reduction. Our models perform polyp detection within the range of the endoscopists' performance, although faster, showing a potential for use in a clinical setting. For the AI and the endoscopists alike, the results show a trade-off between high sensitivity and high specificity; to achieve perfect detection, one will also get abundance of false positives. This can cause alarm fatigue in a clinical setting.
 

Artificial intelligence is currently a hot topic in medicine. However, medical data is often sparse and hard to obtain due to legal restrictions and lack of medical personnel for the cumbersome and tedious process to manually label training data. These constraints make it difficult to develop systems for automatic analysis, like detecting disease or other lesions. In this respect, this article presents HyperKvasir, the largest image and video dataset of the gastrointestinal tract available today. The data is collected during real gastro- and colonoscopy examinations at Bærum Hospital in Norway and partly labeled by experienced gastrointestinal endoscopists. The dataset contains 110,079 images and 374 videos, and represents anatomical landmarks as well as pathological and normal findings. The total number of images and video frames together is around 1 million. Initial experiments demonstrate the potential benefits of artificial intelligence-based computer-assisted diagnosis systems. The HyperKvasir dataset can play a valuable role in developing better algorithms and computer-assisted examination systems not only for gastro- and colonoscopy, but also for other fields in medicine.

Pixel-wise image segmentation is a highly demanding task in medical image analysis. In practice, it is difficult to find annotated medical images with corresponding segmentation masks. In this paper, we present  Kvasir-SEG: an open-access dataset of gastrointestinal polyp images and corresponding segmentation masks, manually annotated and verified by an experienced gastroenterologist. We demonstrate the use of our dataset with a traditional segmentation approach and a modern deep learning based CNN approach. This work will be valuable for researchers to reproduce results and compare their methods in the future. By adding segmentation masks to the Kvasir dataset, which until today only consisted of framewise annotations, we enable multimedia and computer vision researchers to contribute in the field of polyp segmentation and automatic analysis of colonoscopy videos.  

BAKGRUNN: I krysningspunktet mellom matematikk, informatikk og statistikk finner vi den vitenskapelige disiplinen kunstig intelligens (KI). Sammen med de siste års eksplosive utvikling innen teknologi har KI muliggjort nye algoritmer, modeller og systemer for maskinassistert diagnostikk. Resultater fra KI basert på dype nevrale nettverk har vist spesielt stort potensiale, også for automatisk deteksjon av lesjoner og anatomiske landemerker i gastrointestinaltraktus under endoskopi. Med sensitivitet og spesifisitet for deteksjon av polypper i tykktarm
på over 90% møter slike metoder nødvendige kliniske krav, men mange eksperimenter er utført på begrensede datasett, eller analysert på feilaktig grunnlag grunnet manglende tilgang og forståelse hos informatikere. For å oppnå best mulig resultat er
et interdisiplinært samarbeid mellom klinikere og informatikere
en forutsetning. Informatikerne trenger medisinske innspill for å lage effektive systemer som fungerer ute i klinikken, og klinikerne trenger forståelse av systemet for å kunne stole på resultatet og stille pålitelige diagnoser. En stor utfordring for denne tilliten er
at fremgangsmåten til en KI-algoritme sees på som en svart boks hvor ingen nøyaktig kan dechiffrere hvordan systemet kom frem
til sin konklusjon.

METODE: Vi har gjennom mange år samlet en stor bilde- database fra endoskopier utført ved Bærum Sykehus, Vestre Viken HF. Bildene er gjennomgått og annotert av tre erfarne endoskopører og fordelt på 16 klasser, inkludert normal Z-linje, øsofagitt, normal cøkum, polypper og ulcerøs colitt. Deretter er bildene brukt til å utvikle, trene og teste KI-modeller. Modellene er basert på maskinlæring og dyp læring, en gren innen KI. Med vårt system Mimir, som kombinerer KI med informasjonssøk og

-gjenfinning, søker vi å lage et helhetlig beslutningsstøttesystem for endoskopører. Algoritmene analyserer videoer i sanntid, finner lesjoner, klassifiserer disse og gir skopøren live feedback om funn under undersøkelsen, slik at funnene kan undersøkes nærmere. Mimir presenterer deretter resultatene i egen programvare, og bruker blant annet “heatmaps” til å forklare hvordan konklusjonen er nådd, og er på den måten et bidrag på veien til å forstå hvordan KI-algoritmene fungerer. Videre jobber vi med å videreutvikle Mimirs støtte for automatisk rapportgenerering, med bilder
og standardtekst basert på funn fra undersøkelsen.

RESULTATER: Deteksjon og klassifisering for de 16 gruppene har vist en sensitivitet på 0,939 og en spesifisitet på 0,996. Algoritmene våre klarer å prosessere bildene i hastigheter på mellom 30 - 1000 bilder per sekund, raskt nok til å kjøre deteksjon i sanntid. En prototype av systemet er i samråd med klinikere testet ved å koble til et koloskopisystem ute i klinikken, og kan

nå analysere videoer i sanntid.

KONKLUSJON: Tester av våre system viser at KI kan bli et viktig hjelpemiddel for å bedre oppdage GI-forandringer, og generere automatiske rapporter i løpet av nærmeste fremtid. Dette kan fungere som viktig beslutningsstøtte for endoskopører, og kan brukes i opplæring av nye endoskopører. Den største begrensningen med KI er at vi per i dag ikke vet hvordan systemet kommer frem til sin konklusjon, som kan påvirke i hvor stor grad vi stoler på resultatet. Vi arbeider derfor med et helhetlig system som ikke bare hjelper legen med diagnostikk, men også forklarer hvordan konklusjonen er nådd, samt å generere automatiske rapporter fra undersøkelsen.