Lav en dækningsoversigt, før du fortolker AI-brugsstatistik
Et dashboard kan vise færre registrerede handlinger, selv om medarbejdernes faktiske arbejde ikke er faldet tilsvarende. Før teamet forklarer udviklingen, bør det undersøge, hvilke brugere og handlinger rapporten kunne registrere.
1. Vælg det præcise mål
Beskriv, om rapporten måler aktive brugere, bestemte handlinger eller producerede output. Notér perioden og datakilden. Undgå at behandle alle tal med ordet brug som samme mål.
GitHubs dokumenterede hul i Copilot-agentstatistik er anledningen til denne guide. Metoden er en generel anbefaling til at vurdere datadækning.
2. Gruppér efter relevante klientforhold
Lav en enkel oversigt over værktøj, version, periode og kendt datastatus. Brug eksempelvis kategorierne kendt dækket, kendt hul og uafklaret, når oplysningerne understøtter dem.
Indsaml kun de oplysninger, der er nødvendige for rapporten. Formålet er at forstå målingen, ikke at opbygge en ny detaljeret overvågning af den enkelte medarbejder.
3. Knyt ændringer til datoer
Notér, hvornår en relevant klient blev opdateret, eller en anden dokumenteret måleforudsætning ændrede sig. En månedsrapport kan indeholde flere forskellige dækningsperioder.
Et tænkt eksempel er et team, hvor halvdelen opdaterer en mandag og resten ugen efter. Rapporten bør beskrive denne forskel frem for at antage én fælles skæringsdato.
4. Bevar huller som huller
Undlad at erstatte manglende aktivitet med nul eller et skøn uden tydelig mærkning og et egnet grundlag. Nul betyder, at en måling observerede ingen aktivitet; et hul betyder, at observationen mangler.
Hvis sammenligningen er for usikker, så skriv det direkte. En afgrænset konklusion om den dækkede del er mere brugbar end en præcis procent for et ukendt grundlag.
5. Rapportér tal og dækning sammen
Vis målet med en kort note om kendte huller og den periode, der kan sammenlignes. Hold tekniske forklaringer tæt på den konklusion, de begrænser.
Når dækningen senere forbedres, skal teamet først undersøge, om stigningen skyldes flere registreringer eller mere faktisk brug. Oversigten giver et sted at dokumentere den vurdering.