Magne Jørgensen in Computerworld

De som vet lite vet også lite om hvor lite de vet

KOMMENTAR: Lav kunnskap og kompetanse burde føre til forsiktighet i påstander og moderate forventinger til egne prestasjoner. Vi har nok mange en opplevelse av at dette ofte ikke er tilfelle.

Mange ganger er det de som vet minst som er sikrest og hevder de vil prestere best. Noen vil til og med mene at det er lett å tenke på en nåværende president som et godt eksempel på dette misforholdet.

I 1999 utga forskerne Justin Kruger og David Dunning undersøkelser der de dokumenterte disse sammenhengene, som senere er blitt kalt Dunning-Kruger effekten[1]. Sammenhengen tilla de at de med lavest kompetanse hadde en dobbel byrde: Lavere kompetanse hang sammen med lavere kunnskap om hvor mye man visste og kunne. Dette førte til at de minst kompetente overvurderte seg selv, mens de mest kompetente hadde mer realistiske, eller til og med for pessimistiske, prediksjoner av egne prestasjoner. Dunning-Kruger effekten har blitt påvist innen mange kompetanseområder og typer prediksjoner etter dette.

Simula Metropolitan gjennomførte nylig, sammen med Universitetet i Oslo, en undersøkelse der vi så på sammenhengen mellom systemutvikleres kompetanse og deres arbeidsmengde-estimater innen it-utvikling. Vi antok at Dunning-Kruger effekten ville være betydelig innen it-utvikling og forventet dermed å finne at de som hadde de laveste estimatene, eller i alle fall de mest overoptimistiske estimatene, typisk ville være de minst kompetente utviklerne.

Mer enn 100 utviklere fra østeuropeiske it-firmaer deltok på en kompetansetest (basert på et doktorarbeid av Gunnar Bergersen og testene til firmaet Technebies) og estimerte fire ulike it-prosjekter.

Resultatet var, i det minste for de med lavest kompetanse, helt i henhold til Duning-Kruger effekten. Fjerdedelen av utviklerne med lavest kompetanse hadde i snitt de laveste estimatene, deretter kom fjerdedelen med best kompetanse, fjerdedelen med nest best kompetanse og tilslutt fjerdedelen med nest lavest kompetanse som hadde de høyeste estimatene. Sammenlignet med arbeidsmengden faktisk brukt i gjennomføringen av it-prosjektene, av andre utviklere, var det helt klart at de minst kompetente hadde vært svært over-optimistiske med hensyn til egne prestasjoner.

Dette funnet samsvarer med funn fra tidligere undersøkelser av leverandører, der vi har funnet at det blant de laveste estimatene og pristilbudene typisk finnes både de mest og de minst kompetente it-firmaene. Mens de mest kompetente tilbyr lav pris fordi de er svært produktive, så gir de minst kompetente en lav pris fordi de ikke har skjønt kompleksiteten og hvilke utfordringer de vil støte på.

Det å bruke et lavt estimat eller en lav pris som kriterium når leverandører eller utviklere velges vil altså øke risikoen for å velge blant de minst kompetente. Fra annen forskning vet vi at de vanligste evalueringskildene, som CV-er, intervjuer og selvoppgitte referanser, i liten grad avdekker reell kompetanse. Dette betyr at kompetansetesting og utprøving (trialsourcing, proof of concept og lignende) er avgjørende for å sikre at kompetente utviklere og leverandører blir valgt.

Å velge leverandører basert på lav pris og lave estimater er altså ikke bare oppskriften på å velge over-optimistiske utviklere («the winner’s curse»), med de problemene det medfører, men også på å velge de med lavest kompetanse.

[1] Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. Journal of personality and social psychology, 77(6), 1121.

Kommentaren er skrevet av Magne Jørgensen, Chief Research Scientist hos Simula Metropolitan. Kommentaren stod først på trykk i publikasjonen Computerworld.

Associated contacts

Magne Jørgensen

Chief Research Scientist/Research ProfessorProfessor

Email Magne