🤖 تثبيت Crawl4AI — زاحف واستخراج ويب جاهز لنماذج اللغة
انشر Crawl4AI على Ubuntu بـ Docker — زاحف ويب يعرض الصفحات في متصفح حقيقي ويعيد Markdown نظيفاً جاهزاً لنماذج اللغة وخطوط أنابيب RAG، على المنفذ 11235.
📦 الملفات والأكواد المطلوبة
قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.
التثبيت السريع:
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/ai/crawl4ai/crawl4ai-ubuntu.sh
chmod +x crawl4ai-ubuntu.sh
./crawl4ai-ubuntu.sh
خطوات التنفيذ
1 تحميل السكريبت
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/ai/crawl4ai/crawl4ai-ubuntu.sh
2 منحه صلاحية التنفيذ
chmod +x crawl4ai-ubuntu.sh
3 تشغيل المثبّت
./crawl4ai-ubuntu.sh
4 فتح ساحة اللعب أو استدعاء الواجهة
http://your-server-ip:11235/playground
المنافذ المستخدمة
| المنفذ | الغرض |
|---|---|
| 11235 | Crawl4AI REST API and playground at /playground |
نظرة عامة
Crawl4AI زاحف ويب مفتوح المصدر مصمم خصيصاً لتحضير محتوى الويب لنماذج اللغة الكبيرة. بدلاً من جلب HTML خام كما تفعل الزواحف التقليدية، يشغّل متصفحاً حقيقياً بلا واجهة (headless عبر Playwright) لعرض كل صفحة تماماً كما يراها المستخدم — بما في ذلك تطبيقات الصفحة الواحدة الثقيلة بـ JavaScript — ثم يزيل التنقل والإعلانات والعناصر الزائدة ليعيد Markdown نظيفاً ومنظّماً. يعرض نشر Docker واجهة REST API بالإضافة إلى ساحة لعب (playground) في المتصفح لاختبار عمليات الزحف تفاعلياً، مما يجعل ربطه بخط أنابيب RAG أو عميل ذكاء اصطناعي أو أي سير عمل يحتاج نصاً نظيفاً مستخرجاً من صفحات ويب حية أمراً مباشراً.
لماذا تستخدمه
تغذية نموذج لغوي بـ HTML خام يهدر السياق على قوائم التنقل ولافتات الكوكيز وسكربتات الإعلانات وضوضاء التنسيق، والزاحف البسيط القائم على HTTP يفشل تماماً مع الجزء الكبير من الويب الحديث الذي يعرض محتواه بـ JavaScript. يحل Crawl4AI المشكلتين معاً: يعرض الصفحات في متصفح حقيقي حتى يُحمَّل المحتوى الديناميكي فعلياً، ويحوّل النتيجة إلى Markdown نظيف — الصيغة التي تفهمها نماذج اللغة بأعلى موثوقية — بدلاً من حساء DOM خام. لأي شخص يبني خط أنابيب RAG أو عميل بحث بالذكاء الاصطناعي أو مجموعة بيانات من محتوى الويب، يزيل هذا خطوة معالجة أولية مؤلمة وعرضة للأخطاء بحق.
متى تحتاجه
- تبني خط أنابيب RAG (توليد معزَّز بالاسترجاع) وتحتاج نصاً نظيفاً ومنظّماً مستخرجاً من صفحات ويب حية
- المواقع التي تحتاج زحفها تطبيقات صفحة واحدة ثقيلة بـ JavaScript لا يستطيع زاحف HTTP بسيط عرضها بشكل صحيح
- تريد تغذية نموذج لغوي أو عميل ذكاء اصطناعي بمحتوى ويب دون أن يلوّث التنقل والإعلانات والعناصر الزائدة نافذة سياقه
- تحتاج مخرجات Markdown تحديداً، لأنها الصيغة التي تفهمها معظم نماذج اللغة بأعلى موثوقية
- تجرّب أو تختبر سلوك الزحف تفاعلياً قبل ربطه بخط أنابيب آلي
- تريد واجهة REST API لاستخراج محتوى الويب تُربط بسلاسة بسير عمل ذكاء اصطناعي أو أتمتة موجود
من يحتاجه
- مهندسو الذكاء الاصطناعي الذين يبنون خطوط أنابيب RAG ويحتاجون استخراج نص نظيف وموثوق من مواقع ويب حية كمصدر بيانات
- المطورون الذين يبنون عملاء ذكاء اصطناعي يحتاجون قراءة والتفكير في محتوى صفحات ويب حالية
- فرق البيانات التي تبني مجموعات بيانات تدريب أو ضبط دقيق من محتوى ويب يتطلب عرض JavaScript
- الباحثون والمحللون الذين يحتاجون مستخلصات منظّمة وجاهزة لنماذج اللغة من صفحات ويب كثيرة دون نسخ ولصق يدوي
- بناة الأتمتة بلا كود أو بكود قليل (n8n، Make) الذين يحتاجون خطوة زحف تعيد Markdown نظيفاً بدلاً من HTML خام
- المستضيفون الذاتيون الذين يريدون تجنّب دفع تكلفة واجهات برمجة زحف تجارية وتشغيل الاستخراج على بنيتهم التحتية الخاصة
حالات الاستخدام الشائعة
- تغذية قاعدة بيانات متجهات خط أنابيب RAG بـ Markdown نظيف مستخرج من موقع توثيق شركة
- بناء عميل ذكاء اصطناعي يستطيع تصفح وتلخيص محتوى ويب حالي بدلاً من الاعتماد على بيانات تدريب قديمة
- استخراج معلومات منتجات أو أسعار أو قوائم من مواقع تجارة إلكترونية أو SaaS معروضة بـ JavaScript
- توليد مجموعة بيانات نصوص مقالات نظيفة من مجموعة روابط أخبار أو مدونات لمعالجة لاحقة بنموذج لغوي
- مراقبة مجموعة صفحات ويب لمنافسين أو شركاء وتغذية التغييرات في سير عمل تلخيص بالذكاء الاصطناعي
- اختبار جودة الاستخراج تفاعلياً في ساحة اللعب قبل ربط زحف بخط أنابيب n8n أو LangChain أكبر
الميزات الرئيسية
- عرض حقيقي بمتصفح بلا واجهة (عبر Playwright) بحيث تُلتقط التطبيقات الثقيلة بـ JavaScript وتطبيقات الصفحة الواحدة بشكل صحيح، وليس HTML خام من السيرفر فقط
- تحويل تلقائي للصفحات المعروضة إلى Markdown نظيف ومنظّم مع إزالة التنقل والإعلانات والعناصر الزائدة
- واجهة REST API لدمج الزحف مباشرة في خطوط أنابيب الأتمتة وأنظمة RAG وعملاء الذكاء الاصطناعي
- واجهة ساحة لعب تفاعلية على /playground لاختبار الاستخراج على رابط يدوياً قبل أتمتته
- استراتيجيات استخراج قابلة للتخصيص، بما في ذلك الاستخراج القائم على محددات CSS والمدعوم بنموذج لغوي للبيانات المنظّمة
- دعم زحف عدة صفحات ومتابعة الروابط لتغطية أوسع للموقع
- خيارات التقاط لقطات شاشة وPDF جنباً إلى جنب مع استخراج النص للصفحات التي تحتاج تحققاً بصرياً
كيفية الاستخدام بعد التثبيت
- افتح ساحة اللعب على http://your-server-ip:11235/playground وشغّل زحفاً تجريبياً على رابط حقيقي للتأكد أن المتصفح يعرض بشكل صحيح
- راجع مخرجات Markdown المُعادة للتأكد أن التنقل والإعلانات والعناصر الزائدة أُزيلت كما هو متوقع
- استدعِ واجهة REST API مباشرة من تطبيقك أو أداة الأتمتة (n8n، LangChain، سكريبت مخصص) بمجرد أن تبدو مخرجات الزحف صحيحة
- اضبط أي استراتيجيات استخراج خاصة بموقع معين (محددات CSS أو استخراج مدعوم بنموذج لغوي) للصفحات ذات البنية غير العادية
- اضبط حدود معدل وتأخيرات معقولة بين الطلبات إذا كنت تزحف صفحات كثيرة من نفس الموقع
- اربط مخرجات الواجهة بخطوة استيعاب خط أنابيب RAG لديك أو أداة تصفح عميل الذكاء الاصطناعي
- راقب استخدام موارد الحاوية، لأن المتصفح بلا واجهة وتخصيص الذاكرة المشتركة قد يكونان مكثفَي الاستهلاك تحت الحمل
أفضل ممارسات الأمان
- لا تكشف المنفذ 11235 مباشرة للإنترنت العام دون مصادقة — أي شخص يملك وصولاً يستطيع تشغيل عمليات زحف من IP سيرفرك
- ضع Crawl4AI خلف وكيل عكسي مع HTTPS وقيود وصول إذا احتاج أن يكون متاحاً خارج شبكتك المحلية
- احترم ملف robots.txt وشروط الخدمة للمواقع المستهدفة — مسؤولية ما تزحفه وكيفية زحفه تقع عليك أنت، وليس على الأداة
- اضبط حدود معدل معقولة عند زحف نفس الموقع بشكل متكرر لتجنّب الحظر أو تفعيل تنبيهات إساءة استخدام على السيرفر المستهدف
- كن حذراً عند تغذية محتوى ويب مزحوف غير موثوق مباشرة في موجّه نموذج لغوي دون تعقيم، لأنه قد يحمل محاولات حقن أوامر
- حافظ على تحديث صورة Docker، لأنها تحزّم محرك متصفح يستفيد من نفس تصحيحات الأمان التي يستفيد منها أي متصفح
المنافذ وإعدادات جدار الحماية
يستمع Crawl4AI على المنفذ 11235 على المضيف لواجهة REST API وساحة اللعب في المتصفح على /playground — وهو المنفذ الوحيد الذي تحتاج الحاوية كشفه. ولأن الواجهة يمكنها تشغيل عمليات زحف خارجية من سيرفرك، يجب ألا يُكشف المنفذ 11235 مباشرة للإنترنت العام دون مصادقة أمامه. ضع Crawl4AI خلف وكيل عكسي مثل Nginx Proxy Manager مع HTTPS وقيود IP أو مصادقة إذا احتجت الوصول إليه من خارج شبكتك المحلية، وأبقِ الوصول المباشر للمنفذ 11235 مقيّداً في جدار الحماية على مصادر موثوقة فقط.
النسخ الاحتياطي والصيانة
- انسخ احتياطياً أي ملفات إعداد أو متغيرات بيئة خصّصتها لاستراتيجيات الاستخراج أو حدود المعدل
- إذا كنت تحفظ نتائج الزحف أو السجلات في حجم مربوط، انسخه احتياطياً مثل أي بيانات تطبيق أخرى
- احتفظ بنسخة من docker-compose.yml أو أمر التشغيل حتى يمكن إعادة إنشاء النشر بالضبط على مضيف جديد
- بما أن Crawl4AI نفسه عديم الحالة إلى حد كبير (يزحف عند الطلب بدلاً من تخزين قاعدة بيانات)، فإن أهم ما يستحق النسخ الاحتياطي هو إعداداتك وأي بيانات لاحقة حفظتها من مخرجاته
- وثّق أي استراتيجيات استخراج مخصصة أو محددات CSS بنيتها لمواقع معينة حتى لا تُفقد إذا أُعيد إنشاء الحاوية
الأخطاء الشائعة
- كشف المنفذ 11235 للإنترنت العام دون أي مصادقة أو قيد وصول أمامه
- توقّع بدء تشغيل فوري — يحتاج أول تشغيل حوالي دقيقة لتهيئة المتصفح بلا واجهة وتخصيص الذاكرة المشتركة
- تخصيص ذاكرة مشتركة أقل من اللازم للحاوية، مما يسبب تعطل المتصفح بلا واجهة تحت الحمل
- زحف موقع مستهدف واحد بشكل عدواني دون حدود معدل، مما يخاطر بحظر IP أو تفعيل علامات إساءة استخدام
- تغذية محتوى مزحوف خام مباشرة في موجّه نموذج لغوي دون أي تعقيم، مما قد يُعرّض النموذج لحقن أوامر من الصفحة المزحوفة
- افتراض أن كل صفحة تحتاج منطق استخراج مخصصاً بينما تحويل Markdown الافتراضي يتعامل بالفعل بشكل جيد مع معظم المواقع
- تجاهل ملف robots.txt وشروط الخدمة لموقع عند إعداد زحف تلقائي متكرر
استكشاف الأخطاء وإصلاحها
- أول طلب ينتهي مهلته أو يفشل — قد يكون المتصفح بلا واجهة لا يزال يُهيَّأ في أول تشغيل؛ انتظر حوالي دقيقة وأعد المحاولة
- تتعطل الحاوية أو يفشل المتصفح في العرض — تحقق من تخصيص ذاكرة مشتركة كافية للحاوية، لأن Chromium بلا واجهة يحتاجها للعمل بموثوقية
- مخرجات Markdown المستخرجة فوضوية أو غير مكتملة — قد تستخدم الصفحة المستهدفة تخطيطاً غير عادي؛ جرّب استراتيجية استخراج مخصصة أو محدد CSS بدلاً من الافتراضي
- المحتوى الثقيل بـ JavaScript لا يظهر في النتيجة — تأكد أن الزحف ينتظر وقتاً كافياً لتحميل المحتوى الديناميكي قبل تشغيل الاستخراج
- الطلبات تُحظر من الموقع المستهدف — قلّل معدل زحفك وتحقق ما إذا كان ملف robots.txt للموقع يمنع الوصول الآلي
- استدعاءات API تفشل بأخطاء اتصال — تأكد أن الحاوية تعمل وأن المنفذ 11235 قابل للوصول من حيث تستدعيه
- استهلاك ذاكرة مرتفع تحت الحمل — نسخ المتصفح بلا واجهة مكثفة الموارد؛ قيّد عمليات الزحف المتزامنة أو وسّع تخصيص موارد الحاوية
البدائل
Firecrawl زاحف مشابه يركّز على نماذج اللغة، يُقدَّم كواجهة برمجة مُستضافة وكخيار قابل للاستضافة الذاتية، مع تركيز مماثل على مخرجات Markdown نظيفة. Playwright وPuppeteer هما مكتبتا أتمتة المتصفح الأساسيتان اللتان يُبنى عليهما Crawl4AI (وأدوات مشابهة) — يمكنك استخدامهما مباشرة إذا أردت تحكماً يدوياً كاملاً بدلاً من طبقة زحف جاهزة. Scrapy إطار عمل بايثون ناضج وعالي الأداء للزحف، لكنه يجلب HTML خام افتراضياً ويحتاج أدوات إضافية لعرض JavaScript وإنتاج مخرجات جاهزة لنماذج اللغة. واجهات برمجة تجارية مثل ScrapingBee أو Apify تقدّم بدائل مُدارة بلا بنية تحتية بتكلفة لكل طلب. تميّز Crawl4AI هو كونه مفتوح المصدر وقابلاً للاستضافة الذاتية ومصمماً خصيصاً لتغذية نماذج اللغة بمحتوى نظيف دون اشتراك.
متى لا تستخدمه
إذا كنت تحتاج فقط جلب عدد قليل من الصفحات من مواقع ثابتة بسيطة، فإن طلب HTTP خفيف بالإضافة إلى مكتبة تحويل HTML إلى نص أسرع ويحتاج بنية تحتية أقل بكثير من تشغيل متصفح كامل بلا واجهة. إذا احتجت الزحف على نطاق واسع جداً (ملايين الصفحات) مع تحكم دقيق بالتزامن وإعادة المحاولة والزحف الموزّع، فإن إطاراً مخصصاً مثل Scrapy أنسب من أداة تعتمد على المتصفح. إذا كانت المواقع المستهدفة تمنع صراحة الوصول الآلي في شروط خدمتها أو ملف robots.txt، فيجب ألا تزحفها بغض النظر عن الأداة. للفرق التي لا تريد تشغيل أي بنية تحتية إطلاقاً، قد تكون واجهة برمجة زحف تجارية مُدارة أبسط من الاستضافة الذاتية، مقابل رسوم لكل طلب وتحكم أقل في خط الأنابيب.
هل تحتاج مساعدة احترافية؟
توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.
- التثبيت وتجهيز السيرفر
- الإعداد المتقدم وإعداد التوجيه
- تصليب الأمان وتحسين جدار الحماية
- إعداد شهادات SSL/TLS مع Let's Encrypt
- ربط النطاق المخصص والوكيل العكسي
- جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
- المراقبة الفورية وتنبيهات الجاهزية
- الترحيل من المنصات القائمة
- استكشاف مشكلات الاتصال والأداء وإصلاحها
- سكريبتات أتمتة مخصصة وعقود دعم مستمر
الأسئلة الشائعة
ما هو Crawl4AI؟
Crawl4AI زاحف وأداة استخراج ويب مبنية لتغذية نماذج اللغة. يعرض كل صفحة في متصفح حقيقي بلا واجهة بحيث تعمل المواقع الثقيلة بـ JavaScript، ويزيل التنقل والإعلانات والعناصر الزائدة، ويعيد Markdown نظيفاً — الصيغة التي تتعامل معها نماذج اللغة بأفضل شكل.
ما المنفذ الذي يستخدمه، وهل توجد واجهة؟
يعمل Crawl4AI على المنفذ 11235 على المضيف. يقدّم واجهة REST API لدمج الزحف في خط أنابيب، بالإضافة إلى واجهة ساحة لعب على مسار /playground لتجربة عمليات الزحف يدوياً.
لماذا يستغرق أول تشغيل بعض الوقت؟
لأن Crawl4AI يشغّل متصفحاً كاملاً بلا واجهة، ويقوم أول تشغيل بتهيئة ذلك المتصفح، مما يستغرق حوالي دقيقة. يخصص التثبيت أيضاً جيجابايت من الذاكرة المشتركة ليعمل بشكل صحيح.
لماذا لا أستخدم زاحف HTTP بسيطاً فقط؟
الزواحف البسيطة تجلب HTML خام، وهو ما يفشل مع الجزء الكبير من الويب الحديث الذي يعرض محتواه بـ JavaScript، وحتى عندما تعمل، فإنها تسلّم النموذج اللغوي فوضى من التنقل والإعلانات تلوّث سياقه.
هل الزحف بواسطته قانوني؟
يعتمد ذلك تماماً على ما تزحفه وكيف، والمسؤولية تقع عليك. للزحف الآلي أبعاد قانونية وأخلاقية حقيقية — احترم ملف robots.txt لكل موقع، واضبط حدود معدل معقولة، وتجنّب إغراق السيرفرات بالطلبات، وكن واعياً لشروط الخدمة وحقوق النشر.