Tæl inputtet, før en stor AI-opgave sendes til Claude
Et salgsbrief kan bestå af få linjer, men den samlede AI-anmodning kan også indeholde instruktioner, tidligere beskeder og dokumenter. Når en opgave vokser, er det nyttigt at måle hele inputtet, før den sendes til modellen.
Mål den anmodning, der faktisk skal bruges
Claude-platformen har en tokenoptælling, som returnerer antallet af inputtokens for strukturerede beskeder. Den understøtter blandt andet systeminstruktioner, klientværktøjer, billeder og PDF-filer. Optællingen skal bruge den model, som anmodningen er tiltænkt; forskellige tokenizers kan give forskellige tal.
Vores anbefaling er at måle tre repræsentative opgaver: en kort, en almindelig og en stor. Bevar de samme nødvendige instruktioner i alle tre. En optælling af kundens seneste spørgsmål alene er et dårligt grundlag, hvis den faktiske anmodning også medsender en lang historik.
Kontrollér, om inputtypen kan tælles
Det aktuelle endpoint accepterer ikke alle muligheder fra Messages API. Dokumentationen nævner blandt andet MCP-connectoren og de fleste serverværktøjer som undtagelser. Billeder og dokumenter med URL- eller filkilde skal heller ikke antages understøttet af optællingen; vejledningen beskriver base64 som input til billeder og PDF.
Lad udvikleren kontrollere den konkrete anmodningsform. Et afvist tællekald er ikke et gyldigt estimat på nul tokens. Registrér i stedet, hvorfor optællingen ikke kunne gennemføres, og brug den faktiske API-respons til at undersøge forbruget ved en afgrænset prøve.
Brug estimatet til en tydelig beslutning
Optællingen er et estimat og anvender ikke prompt caching-logikken. Den fortæller heller ikke på forhånd, hvor langt modellens svar bliver. Hold derfor inputestimat og faktisk samlet forbrug adskilt i jeres interne opfølgning.
Aftal, hvad der skal ske, hvis inputtet bliver for stort: eksempelvis afgrænse dokumentpakken eller bede en fagperson vælge relevante afsnit. Undgå en automatisk afkortning, der fjerner vigtige prisforbehold eller kundekrav. Efter prøven bør teamet sammenholde input, svar og opgavens kvalitet. Færre tokens er kun nyttigt, hvis resultatet stadig løser den aftalte opgave.