O Chatwoot utiliza o **Firecrawl** internamente para buscar e indexar o conteúdo do seu site. Isso permite que o Assistente do Chatwoot responda perguntas usando as informações do seu site.

No entanto, se o arquivo robots.txt do seu site possuir regras **Disallow**, o Firecrawl irá respeitá-las e pular o rastreamento dessas páginas.

Quando isso acontece:

* Nenhum documento do seu site será adicionado ao Chatwoot

* O Assistente não receberá contexto adicional

* As respostas podem se tornar incompletas ou genéricas

Para garantir que o Assistente funcione corretamente, é necessário permitir que o Firecrawl rastreie o seu site.

## **Passo 1: Verifique Seu robots.txt**

Acesse:

```
https://seudominio.com/robots.txt
```

Procure por entradas Disallow: que possam bloquear agentes de usuário.

## **Passo 2: Adicione uma Regra Allow para o Firecrawl**

Peça para o administrador ou desenvolvedor do seu site adicionar as seguintes linhas ao arquivo robots.txt:

```
User-agent: FirecrawlAgent
Allow: /
```

Isso indica ao Firecrawl que ele tem permissão para rastrear todo o seu site, mesmo que outros bots estejam restritos.

## **Passo 3: Salve e Publique**

Após atualizar o robots.txt, certifique-se de que o arquivo foi publicado e está acessível publicamente.

Você pode verificar acessando:

```
https://seudominio.com/robots.txt
```

e conferindo se as novas regras aparecem.