🤖 تثبيت Milvus — قاعدة بيانات متجهات مبنية للنطاق الواسع

انشر Milvus على Ubuntu بـ Docker وetcd وMinIO — قاعدة بيانات متجهات عالية الأداء للبحث بالتشابه على نطاق المليارات خلف تطبيقات الذكاء الاصطناعي وRAG، على المنفذ 19530.

⚠️ راجع أي سكريبت دائمًا قبل تشغيله على سيرفرك، واختبره في بيئة تجريبية أولاً.

📦 الملفات والأكواد المطلوبة

قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.

سكريبت تثبيت آلي — أمر واحد ينشر منظومة Milvus مع etcd وMinIO. اربط العملاء بواجهة gRPC على المنفذ 19530.
عرض على GitHub

التثبيت السريع:

wget https://raw.githubusercontent.com/mhmdali94/Docker/main/ai/milvus/milvus-ubuntu.sh
chmod +x milvus-ubuntu.sh
sudo bash milvus-ubuntu.sh

خطوات التنفيذ

1 تحميل السكريبت

wget https://raw.githubusercontent.com/mhmdali94/Docker/main/ai/milvus/milvus-ubuntu.sh

2 منحه صلاحية التنفيذ

chmod +x milvus-ubuntu.sh

3 تشغيل المثبّت

يثبّت السكريبت Docker إن لزم ويشغّل ثلاث حاويات — etcd للبيانات الوصفية، وMinIO لتخزين الكائنات، وMilvus نفسه — مع عرض واجهة gRPC الخاصة بـ Milvus على المنفذ 19530.

sudo bash milvus-ubuntu.sh

4 ربط عميل

لا توجد واجهة ويب — اتصل بعميل pymilvus (أو أداة أخرى) موجّهاً لنقطة نهاية gRPC:

MilvusClient(uri="http://<your-server-ip>:19530")

المنافذ المستخدمة

المنفذالغرض
19530gRPC API (host → container 19530) — no web UI, use client SDKs
internaletcd (metadata) + MinIO (object storage, minioadmin default)
./milvusMilvus data (back up with ./etcd and ./minio together)

نظرة عامة

Milvus قاعدة بيانات متجهات مفتوحة المصدر مصممة خصيصاً لتخزين والبحث في التمثيلات العددية عالية الأبعاد (embeddings) التي تنتجها نماذج الذكاء الاصطناعي — وهي الأساس الرقمي وراء البحث الدلالي ومحركات التوصية وRAG (التوليد المعزّز بالاسترجاع). أنشأتها Zilliz أصلاً وهي الآن مشروع مكتمل تحت مؤسسة LF AI & Data، وتصدر برخصة Apache 2.0. بخلاف قاعدة بيانات أحادية الملف، يعمل Milvus كنظام موزّع صغير: يُنشئ هذا المثبّت ثلاث حاويات معاً — etcd لتنسيق البيانات الوصفية، MinIO لتخزين الكائنات لبيانات المتجهات الفعلية، وسيرفر Milvus نفسه، الذي يعرض واجهة gRPC على المنفذ 19530 لأدوات العملاء مثل pymilvus.

لماذا تستخدمه

قواعد البيانات التقليدية لا تستطيع البحث بكفاءة عن "المعنى" — فهي تطابق قيماً دقيقة أو كلمات مفتاحية. يفهرس Milvus التمثيلات العددية حتى تتمكن من طلب "إيجاد عناصر مشابهة لهذا" والحصول على نتائج دقيقة خلال أجزاء من الثانية، حتى عبر مليارات المتجهات. يدعم أنواع فهارس متعددة (HNSW وIVF وDiskANN) حتى تتمكن من ضبط التوازن بين سرعة البحث والدقة واستهلاك الذاكرة، ويتوسّع من وضع مستقل يناسب حاسوباً محمولاً إلى عنقود موزّع يتعامل مع أحمال إنتاجية هائلة دون تغيير قاعدة البيانات.

متى تحتاجه

  • تبني بحثاً دلالياً أو أنظمة توصية أو خطوط RAG تحتاج البحث في التمثيلات العددية بالتشابه
  • مجموعة بياناتك من المتجهات كبيرة بما يكفي (ملايين إلى مليارات المتجهات) بحيث لا يتوسّع معها حل بسيط في الذاكرة أو مدمج
  • تحتاج مزايا جاهزة للإنتاج مثل التكرار والتوسّع الأفقي والتوافر العالي للبحث في المتجهات
  • تريد الجمع بين البحث بالتشابه في المتجهات وتصفية بيانات وصفية منظمة في نفس الاستعلام
  • تقيّم عدة نماذج تمثيل عددي أو أنواع فهارس وتحتاج قاعدة بيانات مرنة بما يكفي لدعمها جميعاً

من يحتاجه

  • مهندسو الذكاء الاصطناعي والتعلم الآلي الذين يبنون بحثاً دلالياً أو مزايا توصية مدعومة بنماذج تمثيل عددي
  • الفرق التي تبني خطوط RAG (التوليد المعزّز بالاسترجاع) لتطبيقات مدعومة بنماذج لغوية كبيرة
  • علماء البيانات الذين يجرّبون ويقيّمون أنواع فهارس متجهات ومقاييس مسافة مختلفة
  • الشركات ذات متطلبات البحث بالتشابه على نطاق واسع للصور أو الصوت أو المستندات
  • الشركات الناشئة التي تبني منتجات ذكاء اصطناعي تحتاج قاعدة بيانات قادرة على التوسّع من نموذج أولي إلى مليارات المتجهات
  • الباحثون العاملون بتمثيلات عددية من نماذج رؤية حاسوبية أو معالجة لغة طبيعية أو ذكاء اصطناعي متعدد الوسائط
  • فرق المنصات التي توحّد على قاعدة بيانات متجهات واحدة عبر تطبيقات ذكاء اصطناعي داخلية متعددة

حالات الاستخدام الشائعة

  • تشغيل بحث دلالي عبر المستندات أو تذاكر الدعم أو قواعد المعرفة باستخدام تشابه التمثيل العددي
  • بناء خط RAG يسترجع أجزاء سياق ذات صلة لنموذج لغوي كبير بناءً على تشابه المتجهات
  • تطبيق أنظمة توصية بالمنتجات أو المحتوى بناءً على تشابه التمثيل العددي
  • تشغيل بحث عكسي بالصور أو مطابقة تشابه بصري لكتالوجات التجارة الإلكترونية أو الوسائط
  • إزالة التكرار أو تجميع مجموعات بيانات كبيرة بناءً على التشابه الدلالي بدلاً من التطابق الدقيق
  • دمج البحث في المتجهات مع مرشحات بيانات وصفية، مثل منتجات مشابهة أقل من سعر معيّن ومتوفرة في المخزون

الميزات الرئيسية

  • أنواع فهارس متعددة (HNSW وIVF_FLAT وIVF_PQ وDiskANN والمزيد) لموازنة السرعة والدقة والذاكرة
  • بحث هجين يجمع تشابه المتجهات مع تصفية بيانات وصفية عددية في استعلام واحد
  • توسّع أفقي من الوضع المستقل إلى عنقود موزّع بالكامل دون تغييرات على التطبيق
  • فهرسة وبحث مسرّعان بواسطة GPU لأحمال العمل واسعة النطاق
  • دعم مقاييس مسافة متعددة (L2، تشابه جيب التمام، حاصل الضرب الداخلي) حسب نموذج التمثيل العددي لديك
  • دعم مدمج للأقسام والمجموعات لتنظيم وعزل بيانات المتجهات
  • أدوات عملاء لـ Python (pymilvus) وJava وGo وNode.js، بالإضافة لواجهة RESTful
  • استعلامات عبر الزمن وإصدار للبيانات لقراءات متسقة أثناء الكتابة المتزامنة

كيفية الاستخدام بعد التثبيت

  • ثبّت أداة عميل — pymilvus لـ Python هي الأكثر شيوعاً — واتصل بـ http://your-server-ip:19530
  • أنشئ مجموعة (collection) تحدد أبعاد المتجه ومقياس المسافة المطابق لنموذج التمثيل العددي لديك
  • أدرج دفعة من المتجهات مع أي حقول بيانات وصفية تريد التصفية عليها لاحقاً
  • ابنِ فهرساً على المجموعة (مثل HNSW أو IVF_FLAT) قبل تشغيل عمليات بحث تشابه على نطاق واسع
  • شغّل استعلام بحث تشابه تجريبي وتأكد أن النتائج والمسافات المعادة منطقية
  • ثبّت Attu اختيارياً، وهي واجهة ويب رسومية منفصلة، لتصفح المجموعات والفهارس والبيانات بصرياً

أفضل ممارسات الأمان

  • لا يملك Milvus مصادقة مفعّلة افتراضياً في الوضع المستقل — لا تكشف المنفذ 19530 مباشرة للإنترنت أبداً
  • فعّل نظام RBAC (التحكم بالوصول القائم على الأدوار) المدمج في Milvus واضبط بيانات اعتماد قوية قبل أي استخدام إنتاجي
  • قيّد الوصول لمنفذ gRPC ومنافذ MinIO على شبكتك الداخلية أو VPN باستخدام قواعد جدار الحماية
  • غيّر بيانات اعتماد MinIO الافتراضية minioadmin/minioadmin فوراً — إنها قيم افتراضية معروفة للعامة
  • ضع Milvus خلف وكيل عكسي أو بوابة API إذا احتاجت تطبيقات العملاء الوصول إليه من خارج الشبكة الموثوقة
  • أبقِ منفذ عميل etcd داخلياً فقط — يحمل بيانات وصفية حساسة للعنقود ولا يملك مصادقة افتراضياً
  • حدّث صور Milvus وetcd وMinIO معاً بانتظام لتلقي تصحيحات أمان منسّقة

المنافذ وإعدادات جدار الحماية

ينشر Milvus واجهة gRPC على منفذ المضيف 19530 — هذا هو المنفذ الوحيد الذي تحتاجه أدوات العملاء، ولا توجد واجهة ويب لكشفها. حاويتا etcd وMinIO اللتان يعتمد عليهما Milvus تعملان داخلياً ضمن شبكة Docker ولا يتم نشرهما على المضيف بواسطة هذا المثبّت، وهذه ممارسة جيدة لأن لا واحدة منهما تملك مصادقة مفعّلة افتراضياً. إذا احتجت واجهة إدارة بصرية، شغّل Attu كحاوية منفصلة موجّهة للمنفذ 19530 بدلاً من كشف etcd أو MinIO مباشرة. أبقِ المنفذ 19530 مقيّداً على سيرفرات تطبيقك أو VPN — الوضع المستقل لـ Milvus لا يملك مصادقة مدمجة ما لم يُضبط RBAC صراحةً.

النسخ الاحتياطي والصيانة

  • انسخ احتياطياً الأحجام الثلاثة معاً: ./milvus و ./etcd و ./minio — لأنها مترابطة والنسخة الجزئية غير قابلة للاستعادة
  • MinIO يحمل بيانات المتجهات الفعلية، وetcd يحمل البيانات الوصفية للعنقود، وMilvus يحمل حالة التنسيق — يجب أن تتطابق الثلاثة
  • أوقف الحاويات بشكل نظيف قبل أخذ نسخة احتياطية على مستوى نظام الملفات لتجنب التقاط بيانات أثناء الكتابة
  • استخدم أداة النسخ الاحتياطي المدمجة في Milvus (milvus-backup) لنسخ احتياطية منطقية على مستوى المجموعة دون إيقاف الخدمة
  • خزّن النسخ الاحتياطية خارج المضيف، خصوصاً قبل ترقيات الإصدار الرئيسية التي قد تغيّر تنسيقات القرص
  • اختبر الاستعادة دورياً بتحميل نسخة احتياطية في منظومة Milvus جديدة وتشغيل استعلام تجريبي

الأخطاء الشائعة

  • كشف المنفذ 19530 أو منافذ MinIO مباشرة للإنترنت دون مصادقة أو جدار حماية
  • ترك بيانات اعتماد MinIO الافتراضية minioadmin/minioadmin دون تغيير
  • نسخ حجم ./milvus احتياطياً فقط ونسيان ./etcd و./minio، ما ينتج نسخة احتياطية غير قابلة للاستعادة
  • عدم بناء فهرس قبل تشغيل عمليات بحث التشابه، ما يسبب فحوصات بطيئة جداً بالقوة الغاشمة على المجموعات الكبيرة
  • اختيار نوع فهرس دون مراعاة التوازن بين السرعة والدقة والذاكرة لحجم مجموعة البيانات الفعلي
  • استخدام مقياس مسافة لا يطابق طريقة تدريب نموذج التمثيل العددي، مثل L2 بدلاً من تشابه جيب التمام
  • الاستهانة بمتطلبات الذاكرة — بعض أنواع الفهارس تحمّل كامل مجموعة المتجهات في الذاكرة العشوائية

استكشاف الأخطاء وإصلاحها

  • لا يمكن للعميل الاتصال — تحقق أن حاوية Milvus سليمة وأن المنفذ 19530 غير محظور بواسطة UFW أو قاعدة جدار حماية أخرى
  • عمليات البحث بطيئة جداً — تأكد من بناء فهرس على المجموعة؛ بدونه يلجأ Milvus لفحص بالقوة الغاشمة
  • فشل بدء الحاوية — تحقق أن etcd وMinIO بدآ بنجاح أولاً، لأن Milvus يعتمد على سلامة كليهما
  • أخطاء نفاد الذاكرة — انتقل لنوع فهرس أكثر كفاءة في الذاكرة مثل IVF_PQ، أو ارفع ذاكرة RAM المتاحة على المضيف
  • نتائج بحث غير متسقة أو مفقودة — تأكد من تفريغ (flush) البيانات وتحميل المجموعة في الذاكرة بعد الإدراج
  • أخطاء اتصال MinIO في سجلات Milvus — تحقق أن حاوية MinIO تعمل وأن بيانات اعتمادها تطابق إعدادات Milvus
  • إدراج بطيء على نطاق واسع — أدرج المتجهات على دفعات بدلاً من إدراجها واحداً تلو الآخر

البدائل

Qdrant قاعدة بيانات متجهات أخف بملف تنفيذي واحد مكتوبة بلغة Rust، أبسط في الاستضافة الذاتية وما زالت تتعامل بشكل جيد مع أحمال كبيرة — توازن جيد. Chroma مدمجة وسهلة جداً لبناء نماذج أولية، مثالية للمشاريع الأصغر أو التطوير المحلي، لكنها غير مبنية لنفس النطاق الموزّع. Weaviate يقدّم مجموعة مزايا مشابهة لـ Milvus مع وحدات مدمجة لنماذج تمثيل عددي متنوعة. pgvector يضيف البحث في المتجهات مباشرة داخل PostgreSQL، وهذا جذاب إذا كنت تشغّل Postgres بالفعل ولا تحتاج أداءً بمقياس المليارات. ميزة Milvus أنه مصمم خصيصاً للطرف الأقصى — أحمال إنتاجية بمليارات المتجهات وإنتاجية عالية وقابلية توسّع أفقي — على حساب منظومة أثقل متعددة الحاويات لتشغيلها.

متى لا تستخدمه

إذا كانت مجموعة بياناتك صغيرة (آلاف إلى ملايين قليلة من المتجهات) أو كنت تبني نموذجاً أولياً فقط، فإن Chroma أو Qdrant سيشغّلانك خلال دقائق بعبء تشغيلي أقل بكثير من منظومة Milvus ثلاثية الحاويات. إذا كنت تشغّل PostgreSQL بالفعل ولا تحتاج نطاقاً هائلاً، يتيح لك pgvector إضافة البحث في المتجهات دون إدخال نظام قاعدة بيانات جديد على الإطلاق. وإذا كان فريقك يفتقر لخبرة تشغيل أنظمة موزّعة (etcd، تخزين الكائنات، تنسيق الخدمات)، فقد يفوق التعقيد التشغيلي لـ Milvus فوائد قابليته للتوسّع حتى تحتاج بياناتك ذلك فعلياً.

هل تحتاج مساعدة احترافية؟

توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.

  • التثبيت وتجهيز السيرفر
  • الإعداد المتقدم وإعداد التوجيه
  • تصليب الأمان وتحسين جدار الحماية
  • إعداد شهادات SSL/TLS مع Let's Encrypt
  • ربط النطاق المخصص والوكيل العكسي
  • جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
  • المراقبة الفورية وتنبيهات الجاهزية
  • الترحيل من المنصات القائمة
  • استكشاف مشكلات الاتصال والأداء وإصلاحها
  • سكريبتات أتمتة مخصصة وعقود دعم مستمر
تواصل مع PrismaTechWork

الأسئلة الشائعة

ما هي قاعدة بيانات المتجهات ولماذا Milvus؟

قاعدة بيانات المتجهات تخزّن التمثيلات العددية التي تنتجها نماذج الذكاء الاصطناعي وتبحث فيها بالتشابه، وهذا ما يشغّل البحث الدلالي والتوصيات وRAG.

لماذا يحتاج etcd وMinIO؟

لأن Milvus نظام موزّع وليس عملية واحدة. يخزّن etcd بياناته الوصفية، ويوفّر MinIO تخزين الكائنات لبيانات المتجهات الفعلية، ويقوم Milvus بتنسيقهما.

أي منفذ يستخدمه، وهل توجد واجهة ويب؟

واجهة gRPC على منفذ المضيف 19530، ولا توجد واجهة ويب — تتصل عبر أدوات عملاء مثل pymilvus، باستخدام MilvusClient(uri="http://your-server-ip:19530"). إذا أردت طريقة بصرية لتصفح المجموعات، Attu واجهة رسومية منفصلة يمكنك تشغيلها بجانبه.

كيف يقارَن بـ Qdrant أو Chroma؟

Qdrant وChroma أخف وأبسط — Chroma مدمجة وممتازة للنماذج الأولية، وQdrant يعمل كخدمة واحدة ويتعامل جيداً مع الأحمال الكبيرة. Milvus مبني للطرف الأقصى: مليارات المتجهات، إنتاجية عالية، نطاق إنتاجي، على حساب منظومة أثقل متعددة الحاويات.

ما الذي أحتاج نسخه احتياطياً؟

الأحجام الثلاثة معاً: ./milvus و ./etcd و ./minio. إنها مترابطة — MinIO يحمل بيانات المتجهات، وetcd البيانات الوصفية، وMilvus حالة التنسيق — لذا النسخ الاحتياطي لواحد فقط عديم الفائدة.