Sammenlign AI-kodeværktøjer med den samme afgrænsede opgave
En sammenligning af AI-kodeværktøjer bliver svær at bruge, hvis hvert værktøj får forskellige oplysninger eller vurderes efter forskellige krav. Her er en enkel model til en intern prøve med én kendt opgave.
1. Vælg en opgave med et synligt resultat
GitHubs HydraFusion-preview er anledning til guiden. Modellen her er min anbefaling til afprøvning og omfatter ingen egne målinger eller rangliste over produkter.
Vælg en lille opgave, hvor teamet kan beskrive den ønskede adfærd. Undgå at begynde med en åben bestilling om at forbedre hele systemet; det gør både omfang og vurdering uklare.
2. Bevar samme udgangspunkt
Brug samme kodeversion, opgavebeskrivelse og relevante dokumentation for hver afprøvning. Gem de oplysninger, som bliver givet undervejs, så en ekstra forklaring ikke forsvinder fra vurderingen.
I et tænkt eksempel skal et formularfelt validere en bestemt type input. Hvis ét værktøj får en præcis regel og et andet kun feltets navn, er resultaterne ikke et retvisende grundlag for en direkte sammenligning.
3. Aftal kontrol før generering
Skriv hvilke eksempler der skal fungere, hvilke der skal afvises, og hvilken eksisterende adfærd der skal bevares. Brug relevante eksisterende tests, hvor de dækker opgaven.
Aftal også, hvordan tvivl afgøres. En forklaring fra værktøjet kan indgå i gennemgangen, men den bør ikke være den eneste dokumentation for, at den genererede ændring virker.
4. Registrér hele vejen til brugbart resultat
Notér resultatet af kontrollen og det arbejde, mennesker bruger på at gennemgå og rette ændringen. Hvis tidsforbrug måles, så brug samme start og slutpunkt i begge forløb.
Skriv fejl konkret frem for at tildele et løst kvalitetsord. Det er mere nyttigt at vide, at en tom værdi fejlede, end at resultatet føltes mindre robust.
5. Begræns konklusionen til prøven
Vurdér, hvilken arbejdsgang der passede bedst til den valgte opgave under de registrerede vilkår. En enkelt prøve er ikke dokumentation for generel overlegenhed på alle typer udviklingsarbejde.
Gem opgave og kontrolgrundlag, så en senere version kan afprøves på samme måde. Gentag først med flere opgavetyper, hvis beslutningen kræver et bredere grundlag.