🧠 تثبيت Weaviate — قاعدة البيانات الشعاعية والبحث الهجين للذكاء الاصطناعي على Docker
نشر قاعدة بيانات Weaviate على Ubuntu باستخدام Docker — قاعدة البيانات الشعاعية (Vector Database) مفتوحة المصدر الرائدة للبحث الدلالي وتوليد الإجابات المعزز بالاسترجاع (RAG) على المنافذ 8080 و50051.
📦 الملفات والأكواد المطلوبة
قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.
التثبيت السريع:
wget https://raw.githubusercontent.com/mhmdali94/Docker/refs/heads/main/ai/weaviate/weaviate-ubuntu.sh
chmod +x weaviate-ubuntu.sh
sudo bash weaviate-ubuntu.sh
خطوات التنفيذ
1 تحميل السكريبت
wget https://raw.githubusercontent.com/mhmdali94/Docker/refs/heads/main/ai/weaviate/weaviate-ubuntu.sh
2 منح صلاحية التنفيذ
chmod +x weaviate-ubuntu.sh
3 تشغيل المثبت
يقوم السكريبت بتثبيت Docker وتجهيز مجلد التخزين الدائم للمتجهات (`./data`) وضبط وحدات التضمين وتشغيل Weaviate على منفذ REST 8080 ومنفذ gRPC 50051.
sudo bash weaviate-ubuntu.sh
4 فحص الجاهزية وربط مكتبات بايثون
أرسل طلب فحص صحة الخدمة عبر الرابط http://ip-سيرفرك:8080/v1/meta. واستخدم مكتبة Weaviate Python أو TypeScript v4 الرسمية لتعريف الجداول وتخزين المتجهات وبدء استعلامات الـ RAG الذكية.
curl http://:8080/v1/.well-known/ready
المنافذ المستخدمة
| المنفذ | الغرض |
|---|---|
| 8080 | Weaviate REST / GraphQL API |
| 50051 | gRPC API (required by modern clients) |
نظرة عامة
تعد Weaviate قاعدة بيانات شعاعية (Vector Database) مفتوحة المصدر ومصممة أصلاً لتطبيقات الذكاء الاصطناعي وتوليد الإجابات المعزز بالاسترجاع (RAG) والبحث الدلالي وأنظمة التوصية الذكية. تعمل المنصة عبر منفذ REST/GraphQL 8080 ومنفذ gRPC عالي السرعة 50051، لتخزن كائنات البيانات الأصلية بجانب المتجهات الرياضية عالية الأبعاد (Embeddings). وتدمج البحث بالكلمات المفتاحية التقليدية (BM25) مع البحث بالمتجهات والتشابه الدلالي (HNSW) في خوارزمية بحث هجين موحدة لتقديم أدق نتائج ممكنة لنماذج الذكاء الاصطناعي.
لماذا تستخدمه
يؤدي استخدام قواعد البيانات التقليدية أو الإضافات البسيطة لبناء تطبيقات الذكاء الاصطناعي إلى بطء شديد في استرجاع السياق، وضعف دقة الإجابات، واستهلاك ضخم للذاكرة. كما تفرض المنصات السحابية التجارية (مثل Pinecone) تكاليف باهظة وتخزن مستندات شركتك الحساسة على سحابات خارجية. تمنحك Weaviate قاعدة بيانات شعاعية مؤسسية مستضافة ذاتياً مع سيادة كاملة لبياناتك 100%، وسرعة فائقة ببروتوكول gRPC، وتكامل مدمج مع نماذج OpenAI وOllama على سيرفرك الخاص.
متى تحتاجه
- تبني خطوط معالجة وتوليد الإجابات المعزز بالاسترجاع (RAG) لروبوتات الدردشة الذكية والوكلاء الاصطناعيين
- تحتاج إلى بحث دلالي ذكي يفهم المعنى والمفهوم من وراء استعلام المستخدم بدلاً من مجرد مطابقة الحروف
- تريد بحثاً هجيناً (Hybrid Search) يجمع بين البحث الدقيق بالكلمات المفتاحية والبحث الشعاعي الدلالي
- تبحث عن بديل مفتوح المصدر ومستضاف ذاتياً بنسبة 100% لمنصات Pinecone وQdrant السحابية مع خصوصية تامة
- تحتاج لمعالجة وتخزين ملايين المتجهات واسترجاعها في زمن استجابة يقل عن 50 ميلي ثانية
من يحتاجه
- مهندسو الذكاء الاصطناعي وعلماء البيانات لبناء تطبيقات RAG مع إطارات LangChain وLlamaIndex
- مطورو الويب لإضافة ميزات البحث الذكي للمواقع ومراكز المعرفة ومستندات التوثيق البرمجية
- المؤسسات والشركات ذات معايير الخصوصية الصارمة التي تشترط تخزين متجهات المستندات محلياً
- المتاجر الإلكترونية لتطبيق البحث البصري وتوصيات المنتجات المشابهة بالذكاء الاصطناعي
- أصحاب السيرفرات المنزلية لبناء منظومة ذكاء اصطناعي محلية مستقلة مع نماذج Ollama
حالات الاستخدام الشائعة
- فهرسة 500,000 صفحة من ملفات PDF واسترجاع المقاطع الأكثر دقة للإجابة عن أسئلة المستخدمين
- تطبيق البحث الهجين على تذاكر الدعم الفني للوصول للحلول المشابهة في أقل من 10 ميلي ثانية
- الربط مع نماذج التضمين المحلية في Ollama لبناء محرك بحث ذكي للشركات معزول عن الإنترنت تماماً
- البحث متعدد الوسائط بالصور والنصوص للعثور على المنتجات المتطابقة بناءً على صور ملتقطة بالهاتف
- فلترة المتجهات الشعاعية بشروط وصفية دقيقة (مثل الفلترة حسب معرف العميل وتاريخ الإنشاء والقسم)
الميزات الرئيسية
- بحث شعاعي وهجين فائق الأداء على المنفذ 8080: دمج مطابقة الكلمات BM25 مع التشابه الدلالي الكثيف
- بروتوكول gRPC فائق السرعة على المنفذ 50051: استيراد مجمّع للبيانات بأعلى سرعة واستعلامات منخفضة التأخير
- خوارزميات فهرسة متعددة: دعم HNSW للبحث فائق السرعة، وFlat للبحث الدقيق، وتقنية Product Quantization
- وحدات تضمين مدمجة وقابلة للتخصيص: تكامل مباشر مع OpenAI وCohere وHuggingFace وMistral وOllama
- مكتبات برمجية عصرية (v4 SDKs): دعم رسمي لبايثون وTypeScript/JavaScript وGo وجافا
- تعدد المستأجرين (Multi-Tenancy): عزل بيانات كل عميل أو مشروع في قسم منفصل داخل نفس الجدول لتطبيقات SaaS
- واجهات GraphQL وREST API: استعلامات مرنة وفحص لحالة العنقود وإحصائيات تجميعية دقيقة
- معمارية Docker Compose تجمع Weaviate مع ربط مجلد `./data` لحفظ الفهارس الشعاعية والبيانات على القرص
كيفية الاستخدام بعد التثبيت
- افحص جاهزية الخادم: `curl http://ip-سيرفرك:8080/v1/meta` (يجب أن يعيد إصدار الخادم ووحدات التضمين)
- ثبت مكتبة بايثون الرسمية الحديثة: `pip install -U weaviate-client`
- اتصل بالخادم بالكود: `client = weaviate.connect_to_custom(http_host='ip-سيرفرك', http_port=8080, grpc_port=50051, http_secure=False, grpc_secure=False)`
- أنشئ مخطط المجموعة (Collection Schema) مع تحديد نوع وحدة التضمين والحقول
- استورد مستنداتك بدفعات مجمعة واختبر استعلامات البحث الهجين
- ضع Weaviate خلف وكيل عكسي مشفر بـ HTTPS (مثل Nginx) مع تفعيل مفاتيح API
- أعد سكريبت نسخ احتياطي دوري لمجلد البيانات الشعاعية `./data`
أفضل ممارسات الأمان
- تنبيه أمني حاسم: فعل المصادقة بمفاتيح الـ API (`AUTHENTICATION_APIKEY_ENABLED=true`) قبل إتاحة الخدمة
- استخدم تشفير HTTPS دائماً لحماية المتجهات ومفاتيح الـ API المنقولة بالشبكة
- اقصر الاتصال بمنفذ gRPC 50051 ومنفذ REST 8080 على سيرفرات التطبيقات المعتمدة (`ufw allow from 192.168.1.0/24`)
- لا تكشف خوادم Weaviate المفتوحة بدون كلمة مرور للإنترنت العام نهائياً
- احمِ مجلد البيانات `./data` بصلاحيات نظام صارمة بالسيرفر (`chmod 700`)
- حدّث صورة الحاوية دورياً للحصول على التحديثات الأمنية وإصلاحات الأداء
المنافذ وإعدادات جدار الحماية
يستخدم Weaviate منفذ TCP 8080 (لواجهات REST وGraphQL) ومنفذ TCP 50051 (لبروتوكول gRPC عالي السرعة). اسمح بكلا المنفذين للشبكة الداخلية الموثوقة (`ufw allow 8080/tcp && ufw allow 50051/tcp`). وفي الإنتاج، وجه حركة المرور عبر وكيل عكسي مشفر بـ SSL على المنفذ 443 مع دعم بروتوكول gRPC.
النسخ الاحتياطي والصيانة
- انسخ مجلد `./data` احتياطياً، والذي يحتوي على كامل فهارس HNSW والمستندات والمتجهات
- استخدم وحدة النسخ الاحتياطي المدمجة في Weaviate لأخذ لقطات حية للقرص أو لسحابة S3
- احتفظ بنسخة من ملف `docker-compose.yml` وملف المتغيرات `.env`
- أتمت النسخ الاحتياطي اليومي للمجلدات وارفعه إلى مساحة تخزين سحابية عبر restic أو rsync
- اختبر الاستعادة بربط مجلد البيانات بحاوية تجريبية وتنفيذ استعلامات شعاعية للتأكد من استرجاع الفهارس
الأخطاء الشائعة
- نسيان فتح منفذ gRPC 50051 مما يمنع مكتبات بايثون وJS الحديثة (v4 SDK) من الاتصال بالسيرفر
- تشغيل Weaviate في الإنتاج بدون تفعيل مفاتيح API مما يتيح لأي زائر قراءة وحذف المتجهات
- عدم ربط مجلد التخزين الدائم `./data`، مما يسبب فقدان الفهارس والمجموعات عند تحديث الحاوية
- فهرسة ملايين المتجهات عالية الأبعاد على سيرفر بذاكرة RAM متواضعة دون تفعيل ضغط المتجهات (Product Quantization)
- استخدام واجهات REST العادية لرفع كميات ضخمة من البيانات بدلاً من خط معالجة gRPC المجمّع
استكشاف الأخطاء وإصلاحها
- فشل اتصال gRPC بالمنفذ 50051 — تأكد من تمرير `50051:50051` في ملف `docker-compose.yml` وسماح جدار الحماية به
- فحص الجاهزية يعيد 502 — راجع سجلات الحاوية بالأمر: `docker logs weaviate -f`
- استهلاك مرتفع للذاكرة أثناء استيراد البيانات — فعل ميزة Product Quantization (PQ) بجدول البيانات لتقليل الرام بـ 80%
- ظهور خطأ 401 Unauthorized — تأكد من صحة ترويسة مفتاح API مثل `W-Api-Key` في كود تطبيقك
- بطء استعلامات البحث — تأكد من حفظ المتجهات على أقراص SSD سريعة وتوفير ذاكرة RAM كافية
البدائل
قاعدة بيانات Qdrant المكتوبة بلغة Rust. قاعدة بيانات Milvus الموزعة للسحابة. مكتبة Chroma المحلية. إضافة pgvector لقواعد بيانات PostgreSQL. منصة Pinecone السحابية التجارية.
متى لا تستخدمه
تجنب استخدام Weaviate إذا كان لديك بضع مئات من المتجهات فقط وتستخدم بالفعل PostgreSQL (حيث تكفي إضافة `pgvector` البسيطة). وإذا كنت تحتاج حصراً لمحرك بحث نصي للمتاجر الإلكترونية مع تصحيح الأخطاء الإملائية بدون متجهات ذكاء اصطناعي، فإن Typesense أو Meilisearch هي الأنسب.
هل تحتاج مساعدة احترافية؟
توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.
- التثبيت وتجهيز السيرفر
- الإعداد المتقدم وإعداد التوجيه
- تصليب الأمان وتحسين جدار الحماية
- إعداد شهادات SSL/TLS مع Let's Encrypt
- ربط النطاق المخصص والوكيل العكسي
- جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
- المراقبة الفورية وتنبيهات الجاهزية
- الترحيل من المنصات القائمة
- استكشاف مشكلات الاتصال والأداء وإصلاحها
- سكريبتات أتمتة مخصصة وعقود دعم مستمر
الأسئلة الشائعة
ما هي Weaviate وما هي قاعدة البيانات الشعاعية (Vector Database)؟
تعد Weaviate قاعدة بيانات متجهات ذكاء اصطناعي. على عكس قواعد البيانات التقليدية التي تطابق النصوص بحرفيتها، تخزن Weaviate المتجهات الرياضية الناتجة عن نماذج الذكاء الاصطناعي، مما يتيح البحث الدلالي بناءً على المعنى والمفهوم والسياق.
ما هو البحث الهجين (Hybrid Search) في Weaviate؟
يدمج البحث الهجين بين البحث بالكلمات المفتاحية التقليدية (BM25) والبحث الشعاعي الدلالي (ANN). وتدمج Weaviate النتائج بذكاء لضمان الحصول على الكلمات الحرفية الدقيقة والسياق المفاهيمي معاً.
لماذا يتطلب Weaviate كلاً من المنفذ 8080 والمنفذ 50051؟
يستخدم المنفذ 8080 لواجهات HTTP REST وGraphQL لإدارة المخططات وفحص الجاهزية، بينما يستخدم المنفذ 50051 لبروتوكول gRPC الثنائي فائق السرعة لرفع المتجهات المجمعة والاستعلامات السريعة.
هل يمكن استخدام Weaviate مع نماذج الذكاء الاصطناعي المحلية مثل Ollama؟
نعم! يمكنك ربط Weaviate بخادم Ollama محلي أو توليد المتجهات في تطبيقك البرمجي وحفظها مباشرة في Weaviate دون الحاجة لأي خدمات سحابية خارجية.
كم تستهلك Weaviate من الذاكرة العشوائية (RAM)؟
تتميز Weaviate بحجم أساسي خفيف يبلغ حوالي 200 إلى 400 ميجابايت RAM داخل Docker. ويتناسب استهلاك الرام مع عدد وأبعاد المتجهات، وتتيح تقنية ضغط المتجهات (PQ) تخزين ملايين المتجهات على خوادم متوسطة التكلفة.
