AI-opgaver i batch: Hvornår kan ventetid give en bedre økonomi?
Et internt arkiv behøver sjældent at blive kategoriseret, mens en medarbejder venter foran skærmen. Den forskel kan være værd at udnytte. Batchbehandling samler AI-opgaver til senere levering, men gevinsten afhænger af mere end prisen på selve modelkaldet.
Vælg en opgave med reel tidsmæssig frihed
OpenAI beskriver Batch API som behandling af grupper af kald med 50 procent lavere pris end de synkrone API'er og et behandlingsvindue på 24 timer. Det er en leverandøroplyst prisforskel, ikke en målt besparelse i virksomhedens samlede arbejdsgang.
Forestil dig en virksomhed, der vil kategorisere 8.000 gamle, ufølsomme supporttekster inden næste uges planlægning. Det er et tænkt eksempel. Min anbefaling er at begynde dér, hvor forsinkelse har lille betydning, og holde aktuelle kundesvar uden for forsøget. En bestilling klokken 18 bør ikke love et færdigt resultat klokken 8 med henvisning til et døgns behandlingsvindue.
- OpenAI: Batch API Læst
Regn på en godkendt kategorisering
Lav to budgetter for det samme udsnit af arkivet: almindelig behandling og batch. Hold model, instruktion, tekstmængde og kvalitetskrav ens. Læg arbejdet med eksport, resultatimport, kontrol og fejlbehandling oven i API-udgiften. Del totalen med antallet af kategoriseringer, der faktisk kan bruges.
Som rent regneeksempel kan en API-udgift falde fra 200 til 100 kroner, mens ekstra manuelt arbejde koster 300 kroner. Så er den billigere behandling samlet dyrere. Beløbene er opdigtede og illustrerer kun regnemetoden. Ved en tilbagevendende opgave kan en automatisk import ændre regnestykket, men udvikling og vedligeholdelse skal stadig med.
Lad hver tekst beholde sin identitet
Batch API kræver en unik custom_id pr. kald. OpenAI oplyser også, at resultatlinjerne kan komme i en anden rækkefølge end inputlinjerne. Derfor skal forbindelsen mellem tekst og resultat bygge på identifikatoren.
I arkiveksemplet vil jeg lade en intern dokumentreference og tekstversion følge hvert forsøg. Importen skal kunne vise præcis, hvilken tekst kategorien stammer fra. Bed udvikleren demonstrere en resultatfil med ombyttede linjer. Hvis kategorierne lander korrekt alligevel, har I undersøgt en vigtig del af forbindelsen uden at basere jer på et heldigt normalforløb.
Gør delvise resultater til en normal situation
Hvis en batch udløber, beskriver OpenAI, at ufærdige kald annulleres, mens færdige resultater er tilgængelige. Forbruget fra færdige kald bliver faktureret.
Mit forslag er en opgørelse med antal bestilte tekster, godkendte resultater, fagligt afviste resultater og tekniske fejl. En manglende kategori skal kunne undersøges uden at sende hele arkivet igen. Et teknisk fejlet kald og en fagligt forkert kategori kræver heller ikke nødvendigvis samme næste forsøg: Det sidste kan kræve en ændret instruktion og en ny kvalitetsprøve.
Aftal, hvornår forsøget skal fortsætte
Før første prøve ville jeg fastlægge en seneste leveringstid, et loft over samlet omkostning og et krav til korrekte kategorier i et manuelt vurderet udsnit. Medtag både korte, lange og tvetydige tekster. Vurder også, om den ansvarlige kan forklare alle manglende resultater.
Fortsæt først med resten af arkivet, når prøven giver et brugbart forhold mellem pris, kvalitet og ventetid. Batch passer bedst, når den tidsmæssige frihed er en faktisk egenskab ved opgaven. Hvis medarbejdere må sætte arbejdet på pause for at vente, skal den tid ind i beslutningen.