# OpenCity AI Chatbot Crawler

### Cos'è l'OpenCity AI Chatbot Crawler?

Il crawler di **OpenCity AI** è un web scraper dedicato, sviluppato esclusivamente per leggere e indicizzare i contenuti dei siti web dei nostri clienti.

Il suo unico scopo è raccogliere le informazioni pubbliche presenti sulle pagine autorizzate per alimentare la base di conoscenza del nostro Chatbot AI, permettendogli di fornire agli utenti risposte precise, contestualizzate e sempre aggiornate.

### I nostri principi fondamentali

* **Scansione mirata:** Il nostro bot non naviga liberamente per il web. Visita **solo ed esclusivamente** i domini dei clienti che hanno attivato il servizio OpenCity AI Chatbot.
* **Rispetto totale delle regole:** Il crawler obbedisce rigorosamente allo standard Web Robots Exclusion Protocol. Se una pagina o una cartella è bloccata nel `robots.txt`, il nostro bot non vi accederà mai.

### Come identificare il nostro bot

Se il tuo sito è un nostro cliente, vedrai il nostro crawler nei file di log del tuo server con la seguente stringa User-Agent:

```
OpenCityAI-ChatbotCrawler/1.0; +https://docs.opencityitalia.it/architettura-e-funzionalita-del-chatbot/architettura-e-sicurezza-dei-dati/indicizzazione-dei-contenuti/opencity-ai-chatbot-crawler
```

*(Il token identificativo per le regole del robots.txt è: `OpenCityAI-ChatbotCrawler`)*

### Come gestire il Crawler tramite robots.txt

Essendo un bot "educato", puoi controllare esattamente quali parti del tuo sito può o non può leggere utilizzando il normale file `robots.txt` del tuo sito.

#### 1. Bloccare specifiche sezioni (Consigliato)

Se vuoi che il chatbot legga il sito ma ignori specifiche cartelle (come aree riservate, bozze o documenti interni):

```
User-agent: OpenCityAI-ChatbotCrawler
Disallow: /area-riservata/
Disallow: /documenti-interni/
```

#### 2. Ritardare la scansione (Crawl-delay)

Se ritieni che il bot stia scansionando le pagine troppo velocemente per il tuo server, puoi impostare un ritardo (in secondi) tra una richiesta e l'altra:

```
User-agent: OpenCityAI-ChatbotCrawler
Crawl-delay: 5
```

#### 3. Bloccare completamente il bot

Se non desideri più utilizzare il servizio e vuoi impedire qualsiasi accesso futuro da parte del nostro AI:

```
User-agent: OpenCityAI-ChatbotCrawler
Disallow: /
```

### Hai bisogno di aiuto?

Se riscontri comportamenti anomali, se il bot sta incidendo sulle performance del tuo server, o se hai semplicemente bisogno di aiuto per configurare il tuo `robots.txt` per il chatbot, non esitare a contattarci.

**Sito Web:** [www.opencitylabs.it](http://www.opencitylabs.it)