Tredici domini, uno solo citato da tutti e tre
«Il mio sito è citato da ChatGPT?» sembra una domanda con una risposta sola. Ne ha almeno tre, e dipendono da come l'hai chiesto.
Cosa abbiamo confrontato
Il 10 agosto abbiamo posto la stessa domanda — miglior vino bonarda oltrepò pavese — con lo stesso prompt, lo stesso giorno, lo stesso paese, in tre modi diversi di raccogliere la risposta di ChatGPT:
- Un browser pilotato sulla chat, cioè la stessa superficie che vede una persona quando apre ChatGPT e scrive.
- La ricerca web ufficiale del modello, richiamata via API da un fornitore di dati.
- Un contesto web iniettato nel prompt: un motore di ricerca esterno recupera le pagine e le passa al modello dentro la domanda.
Tutti e tre sono descritti come «ChatGPT con ricerca web». Tutti e tre hanno risposto in modo sensato, con lunghezze simili: 5.666, 5.897 e 7.134 caratteri.
Le fonti però non coincidono
Le tre risposte citano in tutto tredici domini distinti. Uno solo compare in tutte e tre le liste. Un secondo compare in due. Gli altri undici li cita una misura sola.
| Dominio citato | browser sulla chat | ricerca ufficiale del modello | contesto iniettato |
|---|---|---|---|
gamberorosso.it | citato | citato | citato |
classeseoltrepopavese.it | — | citato | citato |
consorziovinioltrepo.it | citato | — | — |
callmewine.com | citato | — | — |
gamberorossointernational.com | citato | — | — |
monsupello.it | citato | — | — |
laprovinciapavese.gelocal.it | — | citato | — |
buonalombardia.regione.lombardia.it | — | citato | — |
valoritalia.it | — | citato | — |
slowfood.it | — | — | citato |
aislombardia.it | — | — | citato |
quaquarinifrancesco.com | — | — | citato |
valdamonte.it | — | — | citato |
| Totale | 5 | 5 | 6 |
Un produttore dell'Oltrepò che comparisse solo nella prima colonna risulterebbe «visibile su ChatGPT» o «invisibile su ChatGPT» a seconda dello strumento che gli manda il report. Nessuno dei due strumenti starebbe sbagliando.
Perché divergono
Perché non stanno guardando la stessa cosa. Il browser legge la superficie che vedono le persone. La ricerca ufficiale del modello passa dal motore che il fornitore del modello usa davvero, ma dietro a un'API con impostazioni sue. Il contesto iniettato non usa affatto la ricerca di ChatGPT: un altro motore sceglie le pagine e gliele mette in bocca, e quindi sta misurando il posizionamento su quel motore, non la visibilità su ChatGPT.
C'è un dettaglio che lo rende visibile a occhio nudo. Gli URL citati portano un marcatore diverso nei tre casi: nel primo lo stesso parametro che ChatGPT appende quando un utente vero clicca su una fonte, nel secondo un marcatore da API, nel terzo nessun marcatore. Il primo è l'unico che comparirà anche nelle statistiche di traffico del sito citato.
Il costo cambia di trecento volte
Sulla stessa singola domanda, il più caro dei tre è costato circa trecento volte il più economico. Non è una sfumatura di prezzo. È la differenza fra controllare un dominio ogni giorno e controllarlo una volta al mese.
E il più economico dei tre è quello che legge la superficie delle persone. La cosa è meno rassicurante di come suona: quel metodo dipende da un browser automatizzato che continua a funzionare, non da un contratto.
Le due conseguenze pratiche
La prima: cambiare il modo di misurare spezza lo storico esattamente come cambiare modello. Se il grafico della visibilità AI di un cliente sale il mese in cui il fornitore ha cambiato metodo, non è salita la visibilità. È cambiato il metro.
La seconda: un solo controllo non è una misura. Con tredici domini distinti e una sovrapposizione di uno, la lista delle fonti di una singola risposta è un campione, non un verdetto. Contano la ripetizione nel tempo e la frequenza con cui un dominio ricompare.
La parte che complica il quadro
Due cose che abbiamo misurato e che rendono la faccenda meno netta di come l'abbiamo raccontata finora.
La ricerca web è un permesso, non una garanzia. Si può chiedere al modello di cercare. Decide lui se farlo. Su domande a cui risponde dalla memoria non cerca affatto e non cita nessuno — e uno strumento che forza la ricerca a ogni giro sovrastima la visibilità, perché conta citazioni che nella realtà non sarebbero mai comparse.
Su alcuni sistemi la visibilità certe volte non è misurabile. Sulla stessa domanda, uno dei sistemi che abbiamo confrontato ha risposto senza citare nessuna fonte. Non era un errore di lettura: lo stesso codice, su un'altra domanda, ne ha estratte sette. Il numero onesto lì non è zero, è «non disponibile», e sono due cose diverse che troppi cruscotti disegnano uguali.
Cosa chiedere a chi ti vende una misura
Tre domande, e si capisce subito con cosa si ha a che fare:
- Da quale superficie leggete la risposta: la chat, l'API del modello, o un motore vostro?
- Registrate quale modello ha risposto a ogni singolo controllo?
- Cosa scrivete quando il sistema non ha citato nessuno: zero, o «non disponibile»?
Se la risposta alla prima è «ChatGPT» e basta, è la stessa risposta che darebbero tutti e tre gli strumenti di questo confronto — che sulla stessa domanda, lo stesso giorno, hanno prodotto tredici fonti con una sola in comune.