Mål både præcision og dækning, når AI sorterer henvendelser
En AI-sortering finder ti henvendelser til salg, og ni ser relevante ud. Det lyder godt, men siger endnu ikke, om systemet overså halvdelen af de reelle salgsforespørgsler. Vurdér både det, der bliver valgt, og det, der bliver liggende.
Definér den kategori, I vil finde
Google definerer precision som andelen af positive forudsigelser, der er korrekte, og recall som andelen af de faktiske positive tilfælde, modellen finder. Her bruger vi præcision og dækning om de to mål.
Begynd med en kort definition af en salgsforespørgsel, som kolleger kan anvende uden AI. Afklar eksempelvis, om en eksisterende kundes spørgsmål om en ekstra ydelse tæller med. En uklar menneskelig definition kan ikke repareres af en flot modelscore.
Regn på et vurderet eksempel
Forestil jer 100 anonymiserede henvendelser, som teamet har gennemgået. Der er 20 reelle salgsforespørgsler. AI markerer 15 som salg, hvoraf 12 er korrekte. Præcisionen er da 12 af 15, altså 80 procent. Dækningen er 12 af 20, altså 60 procent.
De tre forkerte markeringer giver unødigt arbejde i salgskøen. De otte oversete forespørgsler bliver liggende et andet sted. Tallene er et regneeksempel, ikke et resultat fra en test eller en anbefalet kvalitetsgrænse.
Vælg efter konsekvensen af fejlen
I en model med en numerisk klassifikationsgrænse ændrer grænsen, hvilke tilfælde der bliver positive. Google beskriver, at en højere grænse typisk reducerer både sande og falske positive. Derfor bør grænsen vurderes mod omkostningen ved de forskellige fejl.
Til intern fordeling kan det være acceptabelt at gennemgå nogle ekstra sager for at overse færre relevante henvendelser. En automatisk afvisning kan kræve en anden afvejning. Hvis værktøjet kun giver en kategori, kan I stadig måle de to mål; antag ikke, at en sprogmodels egen sikkerhedsprocent er en kalibreret sandsynlighed.
Behold en menneskelig stikprøve
Afprøv den valgte regel på et separat materiale, som ikke blev brugt til at justere den. Se også på de sager, AI ikke sender videre. Ellers opdager I primært fejlene i salgskøen.
Aftal en regelmæssig stikprøve og en ejer, der gennemgår tvivlstilfælde. Når typerne af henvendelser ændrer sig, bør målingen gentages. Målet er en brugbar fordeling med kendte fejltyper, som teamet kan håndtere i praksis.