Chatwoot utilise **Firecrawl** en interne pour récupérer et indexer le contenu de votre site web. Cela permet à l’Assistant Chatwoot de répondre aux questions en utilisant les informations de votre site.

Cependant, si le fichier robots.txt de votre site comporte des règles **Disallow**, Firecrawl les respectera et évitera de parcourir ces pages.

Lorsque cela se produit :

* Aucun document provenant de votre site ne sera ajouté à Chatwoot

* L’Assistant ne recevra aucun contexte supplémentaire

* Les réponses pourront être incomplètes ou génériques

Pour garantir le bon fonctionnement de l’Assistant, vous devez autoriser Firecrawl à explorer votre site internet.

## **Étape 1 : Vérifiez votre robots.txt**

Visitez :

```
https://yourdomain.com/robots.txt
```

Recherchez toute entrée Disallow: susceptible de bloquer des agents utilisateurs.

## **Étape 2 : Ajoutez une règle Allow pour Firecrawl**

Demandez à l’administrateur ou au développeur de votre site d’ajouter les lignes suivantes dans le fichier robots.txt :

```
User-agent: FirecrawlAgent
Allow: /
```

Cela indique à Firecrawl qu'il est autorisé à explorer l'ensemble de votre site, même si d'autres robots sont restreints.

## **Étape 3 : Enregistrez et publiez**

Après la mise à jour de robots.txt, assurez-vous que le fichier est déployé et accessible publiquement.

Vous pouvez vérifier en visitant :

```
https://yourdomain.com/robots.txt
```

et en vérifiant que les nouvelles règles apparaissent.