Kostnad för LLM-anrop: så räknar du tokens och svarstid

Kostnad för LLM-anrop räknas ut med tre tal: antal tokens in, antal tokens ut och priset per miljon tokens. Du multiplicerar varje antal med sitt pris, adderar summorna och delar med en miljon. Svarstiden räknas separat, från att begäran skickas till att sista token är klar.

Det här är en räknehjälp för att förstå LLM-anrop, kostnad och svarstid innan du bygger något. Exemplen nedan använder påhittade priser för att visa uträkningen. Ta de riktiga priserna från din leverantörs prislista.

Kostnad för LLM-anrop: vad ett anrop kostar

En språkmodell tar emot en text, som kallas indata, och svarar med en text, som kallas utdata. Båda mäts i tokens. En token är en bit text som modellen räknar i, och en token är inte samma sak som ett ord. Hur texten delas upp i tokens beror på modellen, så räkna aldrig om ord till tokens på måfå. Mät i stället med leverantörens egen räknare, eller ta antalet tokens från svaret när leverantören skickar tillbaka det.

Formeln är:

kostnad = (indata-tokens × pris in + utdata-tokens × pris ut) / 1 000 000

Priserna är per miljon tokens. Pris in och pris ut kan vara olika i prislistan. Kontrollera båda, eftersom ett långt svar då kan kosta mer än en lång fråga.

Exempel: ett enskilt anrop

Anta att en fråga är 1 200 tokens och svaret är 400 tokens. Pris in är 0,50 dollar per miljon tokens och pris ut är 1,50 dollar per miljon tokens. Då blir uträkningen:

• Indata: 1 200 × 0,50 = 600
• Utdata: 400 × 1,50 = 600
• Summa: 1 200, delat med 1 000 000 = 0,0012 dollar

Ett anrop kostar alltså 0,0012 dollar. Tusen sådana anrop kostar 1,20 dollar, och tio tusen kostar 12 dollar.

Kostnad för LLM-anrop per månad

Multiplicera kostnaden per anrop med antalet anrop per månad. Lägg till en marginal på minst några procent, eftersom prompter ofta blir längre när ett system växer. Ett enkelt kalkylblad med fyra kolumner räcker: tokens in, tokens ut, anrop per dag och månadskostnad. Kontrollera talen mot faktisk användning efter någon vecka och justera.

Om en del av indata är samma i varje anrop, till exempel en lång systemprompt, räknas den ändå in varje gång den skickas. Det kan vara värt att testa om en kortare prompt ger samma svar.

Svarstid för LLM-anrop

Responstid är enligt Wikipedia tiden det tar mellan att en begäran lagts och att den utförts. För ett språkmodellanrop delas tiden i två delar som du kan räkna var för sig:

1. Tiden till första token, det vill säga tiden tills det första ordet av svaret kommer.
2. Tiden för resten av svaret, som är antalet utdata-tokens delat med genomströmningen i tokens per sekund.

total tid = tid till första token + utdata-tokens / tokens per sekund

Med exemplet ovan, 400 utdata-tokens, en tid till första token på 0,3 sekunder och en genomströmning på 500 tokens per sekund, blir totaltiden 0,3 + 400 / 500 = 1,1 sekunder. Genomströmningen varierar mellan modeller och leverantörer, så mät den med din egen prompt i stället för att lita på en siffra från en broschyr.

Vad som oftast gör anropet dyrare eller långsammare

• Långa prompter. Varje tokens i indata kostar varje gång, även om den är densamma.
• Långa svar. Utdata tar längre tid att skriva ut och kostar mer om priset per token är högre. Be modellen svara kort när det räcker.
• Onödiga anrop. Cacha svar på frågor som återkommer, så att samma anrop inte betalas två gånger.
• Stora modeller för enkla uppgifter. En mindre modell kan räcka för klassificering och korta omskrivningar. Jämför pris och svarstid för just din uppgift.

Så gör du en egen uträkning

1. Skriv ner en typisk fråga och ett typiskt svar från din användning.
2. Räkna tokens med leverantörens räknare eller ta antalet från ett riktigt svar.
3. Hämta pris in och pris ut från leverantörens prislista för den modell du använder.
4. Räkna kostnad för LLM-anrop per anrop med formeln ovan.
5. Multiplicera med anrop per månad och lägg till marginal.
6. Mät tiden till första token och genomströmningen med ett par riktiga anrop.

Uträkningen är bara så bra som talen du stoppar in. Byt ut gissningarna mot mätningar så snart du har dem, så blir kostnad för LLM-anrop något du kan lita på.