Il costo di un LLM in produzione dipende da tre variabili: i token di contesto rimandati a ogni richiesta, il numero reale di richieste al giorno e il modello scelto per ciascun passaggio. Le leve che spostano il conto sono il caching della parte stabile del prompt, il routing dei passaggi semplici verso modelli più piccoli e un recupero che invia pochi documenti pertinenti.
Il pilota costa sempre poco. Quattro persone del team fanno venti domande a testa a un assistente interno in due settimane, la fattura arriva a dodici euro e tutti concludono che l'AI non costa niente. Poi la cosa si apre a quaranta utenti che la usano per lavorare davvero, e la seconda fattura apre una conversazione con l'amministrazione.
Non è andato storto niente. Il pilota ha semplicemente misurato un sistema diverso. L'uso reale cambia due variabili insieme: il numero di richieste e la dimensione di ognuna, perché una domanda fatta per lavoro porta con sé documenti, storico e istruzioni che una domanda da demo non ha.
Perché il pilota inganna
Durante un pilota le domande sono corte, pulite e finiscono dopo una risposta. In produzione la gente chiede seguiti, e ogni seguito rimanda tutta la conversazione. Uno scambio di cinque battute non costa cinque volte la prima domanda, costa più vicino a quindici, perché la quinta battuta si porta dietro le prime quattro.
La seconda cosa che cresce è il prompt. Nasce come tre righe di istruzioni e finisce come due pagine, perché ogni risposta sbagliata durante i test viene rattoppata aggiungendo una regola. Quella pagina e mezza di istruzioni accumulate si paga a ogni singola richiesta, per sempre.
Da dove viene il conto
Si pagano i token in ingresso e quelli in uscita, e i token in uscita costano diverse volte tanto. Vale la pena ricordarselo: un assistente che risponde in tre frasi invece di tre paragrafi non è solo più leggibile, costa materialmente meno, e chiedere sintesi nelle istruzioni è il minimo sforzo che spenderete mai per controllare la spesa.
La voce dominante, però, non è la domanda. È il contesto. Un assistente che risponde sui documenti interni manda tipicamente otto o dieci mila token di materiale recuperato per ogni domanda. A trecento domande al giorno fanno circa tre milioni di token al giorno in ingresso, prima che qualcuno abbia scritto una parola di risposta. Moltiplicate per i giorni lavorativi del mese e avete il vostro numero vero, che non è quasi mai quello del pilota.
Poi ci sono le voci invisibili. I nuovi tentativi dopo un timeout, le richieste in cui il modello viene chiamato due volte perché un controllo ha scartato la prima risposta, i lavori notturni che rielaborano i documenti ogni notte, cambiati o no. Nei progetti che rivediamo questa categoria è spesso un quarto del totale e nessuno l'ha mai guardata, perché non compare in nessuna interfaccia.
Le tre leve che lo spostano davvero
Mettere in cache la parte stabile del prompt. Istruzioni di sistema, definizioni degli strumenti e qualsiasi insieme di documenti che non cambia tra le richieste possono essere messi in cache dal fornitore, e il contesto in cache costa una frazione di quello nuovo. Al codice serve una cosa sola: tenere il materiale stabile all'inizio del prompt e quello variabile alla fine. Chi li alterna paga tutto a prezzo pieno.
Usare il modello giusto per ogni passaggio. La maggior parte delle funzioni AI sono più passaggi travestiti da uno: classificare la richiesta, recuperare i dati pertinenti, produrre una risposta, verificarla. Solo uno di quei passaggi ha bisogno del modello costoso. Mandare classificazione ed estrazione su un modello piccolo, tenendo quello grande per la risposta finale, taglia in genere più della metà del conto senza differenze visibili per l'utente.
Mandare meno documenti, ma migliori. L'abitudine di recuperare venti passaggi e lasciare che il modello si arrangi è costosa e, cosa più fastidiosa, peggiora le risposte: il passaggio pertinente si annacqua. Tre passaggi buoni battono venti mediocri su entrambi i fronti. Migliorare il recupero è l'unica ottimizzazione che abbassa il costo e alza la qualità nello stesso momento, ed è per questo che partiamo da lì.
La latenza è un costo che non arriva in fattura
Un assistente che risponde in nove secondi viene abbandonato, e una funzione abbandonata costa quello che è costato costruirla. Far scorrere la risposta mentre viene generata cambia la percezione più di qualsiasi ottimizzazione: l'utente legge mentre il modello scrive. I passaggi che non dipendono l'uno dall'altro vanno in parallelo, e tutto quello che si può calcolare prima che l'utente chieda, per esempio una sintesi notturna dei ticket di ieri, non va calcolato mentre aspetta.
Cosa misurare dal primo giorno
Registrate una riga per richiesta: quale modello, token in ingresso, token in uscita, se la cache ha risposto, latenza, quale funzione ha chiamato, quale utente. È mezza giornata di lavoro ed è la differenza tra governare un costo e riceverlo. Senza quelle righe, l'unica leva quando la fattura cresce è spostare tutto su un modello più economico, che è la risposta più rozza possibile.
Il numero che vale la pena guardare non è il totale mensile. È il costo per caso risolto: per domanda risposta, per fattura elaborata, per ticket chiuso. Quella cifra si può confrontare con quanto costa lo stesso lavoro fatto a mano, ed è la sola versione della conversazione su cui una direzione possa davvero decidere. Un avviso sulla spesa giornaliera, sopra a quello, evita la sorpresa classica del ciclo che ha girato tutto il fine settimana.
Quando non serve un modello
Una quota sorprendente di quello che viene mandato a un LLM è lavoro deterministico. Estrarre una partita IVA da un documento strutturato, decidere in quale di cinque categorie ricade una richiesta quando la regola è scritta in un manuale, convertire un formato di data: sono cose più economiche, più veloci e più affidabili come codice normale. Usare un modello costa a ogni chiamata e introduce l'unica cosa che il compito non aveva, cioè la variabilità.
La domanda utile non è mai quanto costa l'AI. È quanto costa questa risposta e quanto vale. Nei progetti AI che prendiamo in carico chiediamo quel numero prima di scrivere qualsiasi cosa, perché una funzione che nessuno sa quotare è una funzione che nessuno terrà.
