Chatwoot verwendet **Firecrawl** intern, um die Inhalte Ihrer Website abzurufen und zu indexieren. Dies ermöglicht dem Chatwoot Assistant, Fragen unter Verwendung der Informationen Ihrer Website zu beantworten.

Falls jedoch die robots.txt Ihrer Website **Disallow**-Regeln enthält, wird Firecrawl diese respektieren und das Crawlen dieser Seiten überspringen.

Wenn dies geschieht:

* Es werden keine Dokumente von Ihrer Website zu Chatwoot hinzugefügt

* Der Assistant erhält keinen zusätzlichen Kontext

* Antworten können unvollständig oder allgemein ausfallen

Um sicherzustellen, dass der Assistant ordnungsgemäß funktioniert, müssen Sie Firecrawl das Crawlen Ihrer Website erlauben.

## **Schritt 1: Überprüfen Sie Ihre robots.txt**

Besuchen Sie:

```
https://yourdomain.com/robots.txt
```

Suchen Sie nach Disallow:-Einträgen, die eventuell Benutzeragenten blockieren.

## **Schritt 2: Fügen Sie eine Allow-Regel für Firecrawl hinzu**

Bitten Sie Ihren Website-Administrator oder Entwickler, die folgenden Zeilen zur robots.txt-Datei hinzuzufügen:

```
User-agent: FirecrawlAgent
Allow: /
```

Dies teilt Firecrawl mit, dass es erlaubt ist, Ihre gesamte Website zu crawlen, auch wenn andere Bots eingeschränkt werden.

## **Schritt 3: Speichern und Veröffentlichen**

Stellen Sie nach dem Aktualisieren der robots.txt sicher, dass die Datei bereitgestellt und öffentlich zugänglich ist.

Sie können dies überprüfen, indem Sie folgende Seite aufrufen:

```
https://yourdomain.com/robots.txt
```

und kontrollieren, ob die neuen Regeln erscheinen.