Chatwoot utiliza **Firecrawl** internamente para obtener e indexar el contenido de tu sitio web. Esto permite que el Asistente de Chatwoot responda preguntas usando la información de tu sitio.

Sin embargo, si el archivo robots.txt de tu sitio web contiene reglas **Disallow**, Firecrawl las respetará y no rastreará esas páginas.

Cuando esto sucede:

* No se agregarán documentos de tu sitio web a Chatwoot

* El Asistente no recibirá ningún contexto adicional

* Las respuestas pueden volverse incompletas o genéricas

Para asegurar que el Asistente funcione correctamente, debes permitir que Firecrawl rastree tu sitio web.

## **Paso 1: Revisa tu robots.txt**

Visita:

```
https://tudominio.com/robots.txt
```

Busca entradas Disallow: que puedan bloquear agentes de usuario.

## **Paso 2: Agrega una regla Allow para Firecrawl**

Pide a tu administrador o desarrollador web que agregue las siguientes líneas al archivo robots.txt:

```
User-agent: FirecrawlAgent
Allow: /
```

Esto le indica a Firecrawl que tiene permiso para rastrear todo tu sitio, incluso si otros bots están restringidos.

## **Paso 3: Guarda y publica**

Después de actualizar robots.txt, asegúrate de que el archivo esté implementado y sea accesible públicamente.

Puedes verificarlo visitando:

```
https://tudominio.com/robots.txt
```

y comprobando que las nuevas reglas aparezcan.