AI-brug og løste opgaver bør vurderes med forskellige mål
Et team kan bruge AI ofte uden at have dokumenteret, hvilke opgaver det hjælper med. Omvendt kan en sjælden, krævende opgave have stor betydning. En brugsrapport og en vurdering af arbejdsresultatet skal derfor besvare forskellige spørgsmål.
Start med et pålideligt anvendelsesmål
GitHubs rapporteringsfejl i Copilot er et aktuelt eksempel på, at målingens dækning først skal forstås. Min vurdering er, at et komplet brugstal stadig kun er første del af virksomhedens vurdering.
Hold målgruppen og perioden faste
Et tænkt regneeksempel er 100 medarbejdere med adgang, hvor 60 er aktive i en uge. Det giver 60 procent ugentlig anvendelse i netop den gruppe. Tallet fortæller ikke, hvor mange opgaver der blev afsluttet.
Hvis næste rapport kun omfatter et udvalgt team, kan procenten ikke læses som en direkte fortsættelse af den første. Angiv derfor både målgruppe, periode og definitionen af aktiv.
Vælg en tilbagevendende opgave at undersøge
Afgræns eksempelvis første udkast til et internt salgsbrief. Beskriv det nødvendige input, den forventede leverance og de krav, en faglig gennemlæser vil bruge.
Brug ufølsomt materiale og sammenlign opgaver med rimeligt ens forudsætninger. Et hurtigt resultat på en let opgave er ikke alene et grundlag for at konkludere om alle teamets opgaver.
Medregn efterarbejdet
Notér ikke kun tiden frem til første udkast. Medtag den relevante tid til forberedelse, kontrol og nødvendige rettelser, hvis formålet er at forstå den samlede arbejdsindsats.
Vurder også, om kvalitetskravene blev opfyldt. Et kortere forløb med væsentlige mangler er en anden leverance end en gennemgået tekst, som modtageren kan bruge.
Brug resultaterne til hver sin beslutning
Anvendelsestal kan pege på behov for adgang, introduktion eller undersøgelse af datadækning. Opgaveprøver kan pege på, hvor instruktioner, kvalitetstjek og arbejdsgange skal forbedres.
Analysen anbefaler at holde de to spor sammen uden at blande dem. Den påstår ingen målt besparelse eller kundeeffekt; virksomheden skal samle sit eget grundlag for den konkrete opgave.