تستخدم Chatwoot خدمة **Firecrawl** داخليًا لجلب وفهرسة محتوى موقعك الإلكتروني. يتيح ذلك لمساعد Chatwoot الإجابة على الأسئلة باستخدام معلومات موقعك.

ومع ذلك، إذا كان ملف robots.txt الخاص بموقعك يتضمن قواعد **Disallow**، فسيحترم Firecrawl تلك القواعد ويتخطى الزحف إلى هذه الصفحات.

عندما يحدث ذلك:

* لن تتم إضافة أي مستندات من موقعك إلى Chatwoot

* لن يتلقى المساعد أي سياق إضافي

* قد تصبح الإجابات ناقصة أو عامة

لضمان عمل المساعد بشكل صحيح، عليك السماح لـ Firecrawl بالزحف إلى موقعك الإلكتروني.

## **الخطوة 1: تحقق من ملف robots.txt الخاص بك**

قم بزيارة:

```
https://yourdomain.com/robots.txt
```

ابحث عن أي إدخالات Disallow: قد تمنع عوامل المستخدم.

## **الخطوة 2: أضف قاعدة سماح لـ Firecrawl**

اطلب من مسؤول موقعك أو المطور إضافة الأسطر التالية إلى ملف robots.txt:

```
User-agent: FirecrawlAgent
Allow: /
```

يشير هذا إلى Firecrawl بأنه مسموح له بزحف كامل موقعك، حتى إذا تم تقييد برامج الزحف الأخرى.

## **الخطوة 3: احفظ وانشر**

بعد تحديث ملف robots.txt، تأكد من أن الملف تم نشره ويمكن الوصول إليه علنًا.

يمكنك التحقق عن طريق زيارة:

```
https://yourdomain.com/robots.txt
```

والتأكد من ظهور القواعد الجديدة.