🤖 تثبيت Docling — محلل مستندات لخطوط RAG
انشر Docling على Ubuntu بـ Docker — محلل مستندات IBM الذي يحوّل ملفات PDF وDOCX وغيرها إلى Markdown وJSON نظيفة لخطوط LLM وRAG، مع API وواجهة ويب على المنفذ 5013.
📦 الملفات والأكواد المطلوبة
قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.
التثبيت السريع:
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/ai/docling/docling-ubuntu.sh
chmod +x docling-ubuntu.sh
./docling-ubuntu.sh
خطوات التنفيذ
1 تحميل السكريبت
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/ai/docling/docling-ubuntu.sh
2 منحه صلاحية التنفيذ
chmod +x docling-ubuntu.sh
3 تشغيل المثبّت
./docling-ubuntu.sh
4 فتح الواجهة أو استدعاء API
http://your-server-ip:5013/ui/
المنافذ المستخدمة
| المنفذ | الغرض |
|---|---|
| 5013 | Docling REST API and web UI at /ui/ (mapped from container port 5001) |
نظرة عامة
Docling محرك تحويل وتحليل تخطيطي (layout analysis) مفتوح المصدر طوّرته في الأصل IBM Research ويُصان حالياً ضمن مؤسسة LF AI & Data. يحلّل ملفات PDF وDOCX وPPTX وXLSX وHTML والصور وصيغاً أخرى ويحوّلها إلى Markdown أو JSON أو نص عادي منظم — مخرجات أكثر فائدة بكثير لنموذج اللغة من النص المستخرج الخام. هذا النشر يشغّل docling-serve، الخدمة المبنية على FastAPI التي تغلّف مكتبة Docling بلغة Python ضمن REST API وواجهة ويب في المتصفح، بحيث يمكن تحويل المستندات عند الطلب دون الحاجة لكتابة سكريبت في كل مرة.
لماذا تستخدمه
تغذية نموذج لغوي بنص PDF خام ينتج نتائج ضعيفة لأن ملفات PDF لا تملك بنية حقيقية — الأعمدة تتداخل، وجداول البيانات تتحول إلى صفوف غير مفهومة، والعناوين تختلط مع نص المتن. يشغّل Docling نماذج مخصصة لتحليل التخطيط والتعرف على بنية الجداول (TableFormer) لإعادة بناء ترتيب القراءة وإعادة تركيب الجداول بشكل صحيح قبل تسليمك Markdown أو JSON نظيفة. تشغيله بنفسك يعني أن كل مستند يدخل في خط RAG أو تطبيق LLM لديك يُحلَّل بشكل متسق، دون تكاليف لكل صفحة أو حدود استخدام من واجهة تحليل مستضافة، ودون إرسال مستندات حساسة لخدمة طرف ثالث أبداً.
متى تحتاجه
- تبني خط RAG وتحتاج تحويل المستندات إلى نص منظم ونظيف قبل التقطيع (chunking) والتضمين (embedding)
- مستنداتك المصدرية ملفات PDF أو DOCX أو PPTX بتخطيطات متعددة الأعمدة أو جداول أو تنسيقات مختلطة يشوّهها الاستخراج النصي البسيط
- تريد تحليل مستندات يبقى بالكامل على بنيتك التحتية بدلاً من واجهة تحليل مدفوعة ومستضافة
- تحتاج مخرجات منظمة ومتسقة (Markdown أو JSON) عبر صيغ مستندات مختلفة كثيرة في خط واحد
- مستنداتك تحتوي جداول بيانات يجب الحفاظ عليها كجداول منظمة، لا نصاً مبعثراً
- تدمج استيعاب المستندات ضمن سير عمل وكيلي (agentic) أو عميل ذكاء اصطناعي يدعم MCP وتحتاج خدمة تحويل محلية
- تعالج أحجاماً كبيرة من المستندات وتحتاج خدمة ذاتية الاستضافة دون تكلفة API لكل مستند
من يحتاجه
- مهندسو الذكاء الاصطناعي الذين يبنون خطوط استرجاع مُعزَّز بالتوليد (RAG) ويحتاجون تحويلاً موثوقاً من مستند إلى نص
- فرق البيانات التي تحتاج تحويل دفعات كبيرة من ملفات PDF وDOCX وPPTX إلى صيغة منظمة متسقة
- المطورون الذين يدمجون استيعاب المستندات ضمن خطوط LangChain أو LlamaIndex أو Haystack
- المؤسسات ذات المستندات الحساسة أو المنظمة التي لا يمكن إرسالها لواجهة تحليل خارجية
- الباحثون وفرق إدارة المعرفة الذين يحوّلون الأوراق العلمية والتقارير والأدلة إلى Markdown قابل للبحث
- هواة الاستضافة الذاتية الذين يجربون بُنى ذكاء اصطناعي محلية ويريدون خدمة تحليل مستندات مصغرة إلى جانب Ollama أو AnythingLLM
حالات الاستخدام الشائعة
- استيعاب ملفات PDF وDOCX وPPTX كخطوة أولى في خط RAG وإنتاج Markdown نظيف للتقطيع والتضمين
- تحويل المستندات الممسوحة ضوئياً أو المعتمدة على الصور إلى نص قابل للبحث باستخدام محركات OCR القابلة للتوصيل
- استخراج جداول البيانات المعقدة من التقارير المالية أو الأوراق العلمية كجداول منظمة بدلاً من نص مبعثر
- تحويل دفعي لأرشيف مستندات داخلي إلى Markdown لقاعدة معرفة أو موقع ثابت
- تغذية خدمة تحويل مستندات لمساعد ذكاء اصطناعي يدعم MCP (مثل Claude أو LM Studio) لتحليل المستندات عند الطلب
- معالجة الأدلة والمواصفات التقنية مسبقاً قبل تغذيتها لنموذج لغوي محلي للإجابة على الأسئلة
الميزات الرئيسية
- دعم واسع للصيغ — PDF وDOCX وPPTX وXLSX وHTML والصور وMarkdown وAsciiDoc وCSV تمر جميعها عبر نفس الخط
- تحليل تخطيطي مدعوم بالذكاء الاصطناعي واستعادة ترتيب القراءة يتعامل بشكل صحيح مع الصفحات متعددة الأعمدة والمحتوى المختلط
- نموذج TableFormer للتعرف على بنية الجداول يعيد بناء الجداول المعقدة — بما فيها الخلايا المدمجة والعناوين الهرمية — بدلاً من تسطيحها إلى نص
- محركات OCR قابلة للتوصيل (EasyOCR وTesseract وRapidOCR) للمستندات والصور الممسوحة ضوئياً
- REST API وواجهة ويب عبر docling-serve للتحويل عند الطلب دون كتابة كود
- صيغ تصدير منظمة — Markdown وJSON وHTML ونص عادي — تختارها بما يناسب خط المعالجة اللاحق
- تكاملات أصلية مع LangChain وLlamaIndex وHaystack وأطر RAG أخرى
- دعم سيرفر Model Context Protocol (MCP) بحيث يمكن لعملاء الذكاء الاصطناعي المكتبيين مثل Claude Desktop طلب تحويل المستندات مباشرة
كيفية الاستخدام بعد التثبيت
- افتح http://your-server-ip:5013/ui/ في المتصفح لاستخدام واجهة الويب المدمجة للتحويلات الفردية
- ارفع ملف PDF أو DOCX تجريبياً وتحقق أن مخرجات Markdown تحافظ على العناوين والجداول وترتيب القراءة بشكل صحيح
- توقع أن يكون التحويل الأول أبطأ ملحوظاً — يُنزّل Docling نماذج تحليل التخطيط وTableFormer عند الحاجة أول مرة
- استدعِ REST API مباشرة من كود خطك، أرسل المستندات واستقبل Markdown أو JSON منظمة في الرد
- اربط نقطة نهاية API بخط RAG لديك كخطوة استيعاب، وغذِّ Markdown المُستَرجَع إلى مرحلة التقطيع والتضمين
- عند تحليل مستندات ممسوحة ضوئياً، تحقق أن محرك OCR مفعّل ويكتشف النص في الصور بشكل صحيح
- راقب أوقات التحويل للملفات الكبيرة أو المعقدة — المستندات الغنية بالجداول أو الصور تستغرق وقتاً أطول ملحوظاً للمعالجة
- اختبر API بمستندات ممثلة من مجموعتك الحقيقية قبل ربطه في خط إنتاج فعلي
أفضل ممارسات الأمان
- لا تكشف المنفذ 5013 مباشرة للإنترنت العام — docling-serve لا يأتي بأي مصادقة افتراضياً
- ضع docling-serve خلف وكيل عكسي مثل Nginx Proxy Manager وأضف مصادقة (basic auth أو بوابة API) قبل السماح بالوصول الخارجي
- قيّد الوصول على شبكات داخلية موثوقة أو VPN، فأي شخص يصل إلى API يستطيع إرسال مستندات عشوائية للمعالجة
- تعامل مع المستندات المرفوعة كبيانات حساسة — إذا كنت تعالج ملفات سرية، تأكد أن تخزين السيرفر وسجلاته مؤمّنة وغير مشتركة مع أطراف غير موثوقة
- اضبط حدود موارد (CPU وذاكرة) على الحاوية، فالمستندات الكبيرة أو الضارة (PDF bombs) قد تستهلك موارد مفرطة أثناء التحليل
- حافظ على تحديث صورة Docker للحصول على تحديثات الأمان والنماذج من مشروع Docling
- عند كشف API لخدمات أخرى، استخدم قيوداً على مستوى الشبكة (قواعد جدار الحماية، شبكات Docker) بدلاً من الاعتماد على التطبيق وحده
المنافذ وإعدادات جدار الحماية
يربط هذا النشر المنفذ المضيف 5013 بمنفذ حاوية docling-serve رقم 5001، ويكشف كلاً من REST API وواجهة الويب على /ui/ عبر نفس المنفذ. لا يأتي docling-serve بأي مصادقة مدمجة، لذا يجب ألا يكون المنفذ 5013 متاحاً مباشرة من الإنترنت العام أبداً — أي شخص يصل إليه يستطيع إرسال مستندات للمعالجة واستهلاك موارد السيرفر. احجب المنفذ بجدار الحماية واسمح فقط باتصالات من سيرفرات تطبيقك أو شبكتك الداخلية أو عبر وكيل عكسي يضيف TLS ومصادقة أمامه. إذا احتاجت الخدمة الوصول من حاويات أخرى ضمن خط معالجة، فضّل شبكة Docker خاصة بدلاً من كشف منفذ المضيف على الإطلاق.
النسخ الاحتياطي والصيانة
- انسخ احتياطياً docker-compose.yml أو أمر التشغيل المستخدم لنشر docling-serve لتتمكن من إعادة إنشاء نفس تعيين المنفذ والإعداد بالضبط
- Docling نفسه عديم الحالة (stateless) — لا يخزّن مستنداتك المصدرية أو نتائج التحويل، لذا لا يوجد دليل بيانات تطبيق للنسخ الاحتياطي افتراضياً
- إذا خصّصت تخزين أو مسارات تخزين النماذج المؤقتة، انسخ ذلك الحجم احتياطياً حتى لا تحتاج إعادة تنزيل نماذج التخطيط والجداول بعد إعادة البناء
- انسخ احتياطياً أي كود أو سكريبتات خط المعالجة التي تستدعي API الخاص بـ Docling، فهذا منطق الربط الذي يدمج الخدمة في سير عمل RAG لديك
- أعد سحب صورة docling-serve دورياً للحصول على تحديثات النماذج وإصلاحات الأخطاء بدلاً من تشغيل نسخة قديمة مثبّتة إلى أجل غير مسمى
الأخطاء الشائعة
- كشف المنفذ 5013 للإنترنت العام دون أي مصادقة أو وكيل عكسي أمامه
- افتراض أن أول تحليل مستند يعكس الأداء الطبيعي — البطء الأولي هو تنزيل نماذج لمرة واحدة فقط، وليس علامة على عطل في الخدمة
- تغذية Docling بصور ممسوحة ضوئياً دون التأكد من تفعيل محرك OCR، مما ينتج مخرجات نصية فارغة أو ناقصة
- عدم تخصيص ذاكرة أو CPU كافيين للحاوية مع ملفات PDF كبيرة وغنية بالجداول، مما يسبب فشل التحويلات أو انتهاء مهلتها
- معاملة Docling كخدمة تخزين عامة — فهو يحوّل المستندات لكن لا يحفظها، لذا يجب أن يحفظ خطك المخرجات بنفسه
- إرسال مهام دفعية ضخمة جداً مباشرة إلى نسخة docling-serve واحدة بدلاً من وضع طابور وتحديد معدل الطلبات
- تخطي المراجعة اليدوية لمخرجات Markdown على مستندات حقيقية قبل الوثوق بها في خط RAG إنتاجي
استكشاف الأخطاء وإصلاحها
- طلب التحويل الأول ينتهي مهلته أو بطيء جداً — هذا متوقع؛ يُنزّل Docling نماذج التخطيط وTableFormer عند أول استخدام وتكون الطلبات اللاحقة أسرع بكثير
- الجداول تخرج مسطحة أو مبعثرة — تحقق من استخدام إصدار حديث من Docling مع تفعيل TableFormer، فالإعدادات القديمة أو الأساسية قد تتخطى التعرف على بنية الجداول
- ملفات PDF الممسوحة ضوئياً تعيد نصاً فارغاً — تأكد من تثبيت وتفعيل محرك OCR في النشر، فـ Docling لا يقوم بـ OCR افتراضياً دون تهيئته
- طلبات API تفشل بأخطاء اتصال — تحقق أن المنفذ 5013 معيّن بشكل صحيح وأن الحاوية تعمل عبر docker ps
- التحويلات بطيئة في كل طلب وليس الأول فقط — الحاوية على الأرجح تفتقر لـ CPU كافٍ، أو تسريع GPU غير مستخدم إذا كان متاحاً
- واجهة الويب على /ui/ لا تُحمَّل — تأكد أن منفذ الحاوية 5001 معيّن بشكل صحيح للمنفذ المضيف 5013 وراجع docker logs لأخطاء بدء التشغيل
- ملفات PDF الكبيرة تفشل أو تتعطل الحاوية أثناء التحويل — زد حد الذاكرة للحاوية، فالمستندات المعقدة قد تتطلب رام كبيرة أثناء تحليل التخطيط
البدائل
Unstructured.io يدعم نطاقاً أوسع من صيغ الملفات ويركّز على التقطيع الدلالي (semantic chunking) لخطوط التضمين، مما يجعله خياراً قوياً عندما تمتد مجموعتك عبر أنواع مستندات كثيرة تتجاوز ما يستهدفه Docling. LlamaParse محلل مستضاف قائم على VLM من LlamaIndex يتعامل بشكل جيد جداً مع المسح الضوئي الفوضوي والتخطيطات المعقدة جداً، لكنه واجهة API مدفوعة بتكلفة لكل صفحة وترسل مستنداتك لخدمة خارجية. Apache Tika يستخرج نصاً من نطاق واسع جداً من صيغ الملفات ومُختبَر جيداً في بيئات Java المؤسسية، لكن فهمه للتخطيط والجداول أضعف بكثير من Docling. Marker محوّل PDF إلى Markdown مفتوح المصدر آخر بدعم جيد للجداول ويمكن أن يكون بديلاً أخف لأحمال عمل PDF الخالصة. لمحلل ذاتي الاستضافة ومفتوح المصدر بفهم قوي للجداول والتخطيط يعمل بالكامل على بنيتك التحتية دون تكلفة لكل مستند، Docling هو الخيار الواضح — خصوصاً عند اقترانه بـ API الخاص بـ docling-serve للتكامل مع خطوط المعالجة.
متى لا تستخدمه
إذا كانت مستنداتك بسيطة وأحادية العمود ونصية فقط، فمكتبة خفيفة مثل pymupdf4llm أو استخراج النص العادي ستكون أسرع وكافية — نماذج التخطيط والجداول في Docling تضيف عبئاً لا تحتاجه. إذا كنت تحتاج أعلى دقة ممكنة على مسح ضوئي فوضوي للغاية وتقبل الدفع لكل صفحة، فقد يتفوق محلل مستضاف قائم على VLM مثل LlamaParse على Docling في أصعب المستندات. إذا كان سيرفرك يفتقر لأي سعة CPU أو GPU إضافية، فاعلم أن تحليل التخطيط والتعرف على الجداول عمليات مكثفة حسابياً وستكون بطيئة على أجهزة محدودة. وإذا احتجت استخراجاً واسعاً من عشرات الصيغ النادرة بدلاً من فهم تخطيطي عميق لعدد قليل من الصيغ الشائعة، فقد تخدمك تغطية Apache Tika الواسعة للصيغ بشكل أفضل.
هل تحتاج مساعدة احترافية؟
توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.
- التثبيت وتجهيز السيرفر
- الإعداد المتقدم وإعداد التوجيه
- تصليب الأمان وتحسين جدار الحماية
- إعداد شهادات SSL/TLS مع Let's Encrypt
- ربط النطاق المخصص والوكيل العكسي
- جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
- المراقبة الفورية وتنبيهات الجاهزية
- الترحيل من المنصات القائمة
- استكشاف مشكلات الاتصال والأداء وإصلاحها
- سكريبتات أتمتة مخصصة وعقود دعم مستمر
الأسئلة الشائعة
ما هو Docling؟
Docling محرك تحليل مستندات من IBM يحوّل ملفات PDF وDOCX وPPTX والصور وغيرها إلى Markdown أو JSON نظيفة لنماذج اللغة.
ما المنفذ الذي يستخدمه، وهل توجد واجهة؟
يشغّل هذا النشر docling-serve على المنفذ المضيف 5013، المعيَّن من منفذ الحاوية 5001. يوفر REST API للتكامل مع خطوط المعالجة وواجهة ويب على مسار /ui/ لتحويل المستندات يدوياً.
لماذا يكون تحليل أول مستند بطيئاً؟
لأن Docling يُنزّل نماذج تحليل التخطيط والتعرف على الجداول عند الحاجة أول مرة. هذا التنزيل الأولي يجعل التحليل الأول أبطأ ملحوظاً من التحليلات اللاحقة، والتي تكون سريعة.
كيف يندمج هذا في خط RAG؟
Docling هو خطوة الاستيعاب التي تحوّل مستنداتك إلى نص نظيف. يرسل خطك كل مستند إلى API الخاص بـ Docling، ويستقبل Markdown أو JSON منظمة، ثم يقطّع ذلك النص ويضمّنه ويخزّنه في قاعدة بيانات متجهة.
لماذا لا أستخرج نص PDF بمكتبة بسيطة فقط؟
المكتبات البسيطة تعمل جيداً مع المستندات النظيفة أحادية العمود، لكنها تفشل مع التخطيطات المعقدة والجداول التي تحتويها المستندات الحقيقية — الجمل تتداخل عبر الأعمدة، وبيانات الجداول تتشوش، وينتهي الأمر بالنموذج اللغوي يجيب من نص لا معنى له.