28 crawler IA, motori di ricerca e bot SEO

Check Bot Access

Scopri se ChatGPT, Claude, Perplexity, Google, Bing e altri bot possono raggiungere il tuo sito. Inserisci un URL e lo strumento controlla, per ogni bot, le risposte reali del server, le regole robots.txt e i tag meta robots.

Domande frequenti

Cosa controlla esattamente lo strumento?
Per ogni bot invia una richiesta reale al tuo URL con lo User-Agent del bot, legge lo stato HTTP, il tag meta robots e l'intestazione X-Robots-Tag, e valuta il robots.txt del tuo dominio per quel bot. Il risultato è un verdetto per bot: Consentito, Bloccato, Non verificabile o Errore.
Cosa significa "Non verificabile"?
Il server ha risposto con HTTP 403 o 429. Firewall e CDN (ad es. Cloudflare) spesso verificano i bot in base al loro indirizzo IP, non solo allo User-Agent. La nostra richiesta arriva da un IP diverso, quindi il server può bloccare noi lasciando passare il bot reale, o viceversa. Controlla le impostazioni dei bot del tuo firewall o CDN per esserne certo.
Perché dovrebbe interessarmi che i bot IA accedano al mio sito?
Gli assistenti IA come ChatGPT, Claude o Perplexity rispondono usando contenuti che possono scansionare o recuperare in tempo reale. Se il tuo sito blocca i loro crawler, è meno probabile che venga citato o consigliato nelle risposte IA. D'altra parte, puoi bloccare di proposito i crawler di addestramento (ad es. GPTBot) consentendo i bot di ricerca e quelli attivati dall'utente.
Qual è la differenza tra Google-Extended e Googlebot?
Googlebot scansiona per la Ricerca Google. Google-Extended non è un crawler separato: è solo un token di robots.txt che controlla se i tuoi contenuti possono essere usati per l'addestramento dei modelli Gemini. Per questo non ha un controllo HTTP, ma solo un verdetto robots.txt. Lo stesso vale per Applebot-Extended.
Conservate gli URL che controllo?
No. Il controllo avviene in tempo reale e i risultati vengono mostrati solo nel tuo browser. Non conserviamo URL né risultati in alcun database. Per il limite giornaliero di 10 controlli contiamo le richieste solo tramite un'impronta IP pseudonimizzata fino a mezzanotte. Maggiori dettagli nell<strong>informativa sulla privacy</strong>.