Gem nye eksempler til AI-løsningens sluttest
En AI-løsning svarer nu rigtigt på alle eksemplerne fra teamets prøve. Men eksemplerne har også været brugt til at rette instruktionen ti gange. Resultatet siger derfor mest om de kendte opgaver. Gem noget materiale, som først bliver brugt, når løsningen skal vurderes samlet.
Adskil udvikling og vurdering
Googles vejledning om maskinlæring skelner mellem træningsdata, valideringsdata til løbende justering og testdata til den afsluttende vurdering. Den fremhæver også, at gentagen brug kan gøre et testgrundlag mindre uafhængigt.
Vores anbefaling til teams, der justerer AI-instruktioner, er at anvende samme grundprincip: hold en separat samling opgaver ude af de daglige rettelser. Det er en praktisk anvendelse af princippet; det betyder ikke, at redigering af en instruktion er det samme som at træne modellens vægte.
Del efter sag, før I deler efter række
Forestil jer 60 anonymiserede eksempler på tilbudsudtræk fra 20 leverandørsager. Hvis forskellige versioner af samme tilbud lander i både udvikling og sluttest, kan prøven ligne hverdagen mindre, end antallet af rækker antyder.
Vores forslag er at holde nært beslægtede versioner samlet, når materialet fordeles. Google advarer specifikt mod dubletter mellem træning og test. Kontrollér derfor både identiske dokumenter og eksempler, der blot er små variationer af samme sag.
Fastlæg vurderingen før sluttesten
Beskriv, hvad et korrekt resultat kræver: rigtige felter, bevarede forbehold og en tydelig markering af manglende oplysninger. Lad en fagperson fastlægge det forventede svar, før løsningen ser slutmaterialet.
Brug opgaver med forskellig sværhedsgrad og de undtagelser, arbejdet faktisk indeholder. Et lille pilotmateriale kan hjælpe med at finde fejl, men bør ikke præsenteres som et præcist mål for kvaliteten på alle fremtidige opgaver. Der findes ikke én fordeling eller ét antal eksempler, der passer til enhver anvendelse.
Bevar den første måling, når I retter fejl
Hvis sluttesten afslører en fejl, skal den naturligvis undersøges. Gem det oprindelige resultat, ret løsningen, og angiv, at materialet nu er kendt og har påvirket udviklingen.
Til næste uafhængige vurdering bør der tilføjes nye relevante sager. Google anbefaler repræsentative data og fornyelse af grundlaget over tid. Rapportér derfor både forbedringen på kendte fejl og resultatet på nye opgaver. Det gør det lettere at se, hvad der er rettet, og hvad der stadig er usikkert.