Prompt caching: Mål værdien af den tekst, jeres AI læser igen og igen
En AI-integration kan sende de samme lange instruktioner og den samme håndbog med hundredvis af opgaver. Prompt caching kan genbruge en del af behandlingen. For virksomheden er det interessante spørgsmål, om den konkrete arbejdsgang bliver billigere eller hurtigere ved uændret kvalitet.
Find den del, der faktisk går igen
OpenAI beskriver prompt caching som genbrug af modelarbejde for en identisk begyndelse af inputtet. Modellen laver stadig et nyt svar. Genbrug kræver et passende match, og regler om længde, levetid og pris afhænger af modellen.
Forestil dig en intern assistent, der bruger samme servicehåndbog til at foreslå fejlsøgning for ufølsomme maskinbeskrivelser. Eksemplet er hypotetisk. Min anbefaling er først at kortlægge, hvilke dele der er fælles, og hvilke der varierer pr. sag. Få udvikleren til at vise det faktisk afsendte input. En fælles skabelon i brugerfladen fortæller ikke i sig selv, hvad integrationen sender.
Gør fælles indhold stabilt og genkendeligt
En ændring tidligt i inputtet kan forhindre genbrug af indhold efter ændringen. OpenAI dokumenterer også, at blandt andet værktøjsdefinitioner og visse indstillinger påvirker det sammenlignede input.
I håndbogseksemplet ville jeg undersøge, om fælles instruktioner og den godkendte håndbog kan stå før den enkelte maskinbeskrivelse. Tidsstempler og tilfældige identifikatorer bør ikke stå forrest uden en funktionel grund. Men ret ikke en vigtig instruktion alene for at skabe flere cachetræffere. En sikkerhedsrettelse i håndbogen skal ud med det samme, også når den kræver ny behandling af materialet. Dokumentets kvalitet kommer først.
Mål mere end andelen af cachetræffere
OpenAIs dokumentation viser forbrugstal for genbrugte inputtokens. Den beskriver også modelafhængige satser for læsning fra og skrivning til cachen. Cachetokens tæller fortsat med i begrænsningen for tokens pr. minut.
Mit forslag er at registrere samlet API-udgift, tid til første synlige svar, samlet svartid og godkendte svar for den samme opgavetype. Notér også tidspunktet mellem kald. Et forsøg med hurtige gentagelser kan give et andet billede end teamets normale arbejdsdag med lange pauser. Sammenlign både de første kald og senere gentagelser, så opstarten ikke forsvinder fra økonomien.
Undersøg et konkret manglende genbrug
OpenAI har en diagnosticeringsfunktion, der sammenligner et aktuelt kald med et tidligere svar og hjælper med at finde årsager til manglende genbrug. Dokumentationen angiver understøttelse i Responses API for GPT-5.6 og senere understøttede modeller. Tilgængeligheden skal derfor kontrolleres for den valgte model.
Bed udvikleren vælge ét repræsentativt kald, hvor genbruget var mindre end forventet. Gennemgå først forskelle i input og indstillinger, derefter tidsforløbet. Gem konklusionen som en forklaring, der kan efterprøves. En gætning om, at leverandøren var langsom, hjælper ikke teamet med at afgøre, om næste ændring skal ske i skabelonen eller et andet sted.
Behold ændringen, hvis den hjælper den samlede opgave
Før prøven ville jeg aftale, hvor stor en forbedring der skal til for at retfærdiggøre udviklingsarbejdet. Brug samme udvalg af maskinsager og samme faglige vurdering før og efter ændringen. En tekniker bør bedømme, om rådene stadig følger håndbogen og bevarer dens forbehold.
Hvis inputbehandling kun fylder lidt i den samlede udgift, kan cachearbejdet have begrænset værdi. Et højt genbrugstal er derfor et driftsmål, som skal forbindes med økonomi og medarbejdernes ventetid.