🔍 تثبيت OpenSearch وDashboards — محرك البحث الموزع وتحليل السجلات على Docker
نشر محرك OpenSearch ولوحة تحكم OpenSearch Dashboards على Ubuntu باستخدام Docker — الحزمة المفتوحة المصدر 100% للبحث النصي الشامل، وجمع السجلات، والبحث المتجهي بالذكاء الاصطناعي، والتحليل البصري للبيانات.
📦 الملفات والأكواد المطلوبة
قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.
التثبيت السريع:
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/databases/opensearch/opensearch-ubuntu.sh
chmod +x opensearch-ubuntu.sh
sudo bash opensearch-ubuntu.sh
خطوات التنفيذ
1 تحميل السكريبت
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/databases/opensearch/opensearch-ubuntu.sh
2 منح صلاحية التنفيذ
chmod +x opensearch-ubuntu.sh
3 تشغيل المثبت
يقوم السكريبت بضبط الذاكرة الافتراضية للنواة (vm.max_map_count)، وتجهيز مجلدات التخزين الدائم، وتشغيل محرك OpenSearch على المنفذ 9202 بجانب لوحة OpenSearch Dashboards على المنفذ 5601.
sudo bash opensearch-ubuntu.sh
4 فتح لوحة Dashboards
افتح متصفحك وانتقل إلى الرابط http://ip-سيرفرك:5601 لعرض لوحة OpenSearch Dashboards. تحقق من صحة الكتلة (Cluster Health)، وأنشئ أنماط الفهارس (Index Patterns)، وابدأ استكشاف وتحليل بياناتك.
http://<your-server-ip>:5601
المنافذ المستخدمة
| المنفذ | الغرض |
|---|---|
| 9202 | OpenSearch REST API (host → container 9200) — ⚠️ security plugin disabled |
| 5601 | OpenSearch Dashboards — ⚠️ no authentication |
| heap | OPENSEARCH_JAVA_OPTS fixed at -Xms1g -Xmx1g; memlock unlimited |
نظرة عامة
يعد OpenSearch محرك بحث وتحليل بيانات موزع ومفتوح المصدر بالكامل (100% Open Source)، أطلقته شركة AWS ومؤسسة لينكس بترخيص Apache 2.0 كتفرع حر من مشروعي Elasticsearch 7.10.2 وKibana. يعمل المحرك عبر المنفذ 9202 (المحول من 9200 الداخلي) ولوحة Dashboards عبر المنفذ 5601، ويوفر محرك بحث نصي فائق السرعة مبني على Apache Lucene، ونظاماً مركزياً لجمع وتحليل سجلات السيرفرات والتطبيقات لحظياً، وبحثاً متجهياً (Vector Search) لتطبيقات الذكاء الاصطناعي، واكتشاف الشذوذ آلياً، ولوحات تحكم تفاعلية متطورة.
لماذا تستخدمه
أدى تحول Elasticsearch وKibana إلى تراخيص SSPL التجارية المغلقة إلى فرض قيود قانونية وتكاليف ترخيص إضافية على الشركات. يضمن OpenSearch الحرية التامة لمؤسستك بموجب ترخيص Apache 2.0 مع توافقه البرمجي الكامل مع أدوات جمع السجلات الشائعة (Logstash وFluentd وVector وBeats)، فضلاً عن إتاحة ميزات مؤسسية متقدمة مجاناً مثل البحث بالمتجهات للذكاء الاصطناعي دون أي تكاليف تجارية.
متى تحتاجه
- تحتاج إلى محرك بحث نصي متقدم وسريع لتطبيقات الويب والمتاجر الإلكترونية وقواعد المستندات الضخمة
- تريد منصة مركزية لجمع وتحليل سجلات السيرفرات والحاويات (Log Aggregation & SIEM) في الوقت الفعلي
- تبحث عن بديل مجاني ومفتوح المصدر 100% لمنظومة Elasticsearch وKibana بترخيص Apache 2.0
- تبني تطبيقات ذكاء اصطناعي وتحتاج لقاعدة بيانات متجهات (Vector Database / k-NN) لتوليد واسترجاع المعرفة (RAG)
- تريد لوحات تحكم مرئية تفاعلية، وقواعد تنبيهات ذكية، واكتشافاً آلياً للشذوذ في البيانات الزمنية
من يحتاجه
- مهندسو DevOps وSRE لجمع وتحليل سجلات التطبيقات ومؤشرات أداء السيرفرات في شاشة واحدة
- مطور البرمجيات لإضافة ميزات البحث الذكي والإكمال التلقائي والفلاتر المتقدمة في مواقعهم
- فرق مراكز العمليات الأمنية (SOC) لتحليل سجلات جدران الحماية ورصد التهديدات السيبرانية
- محللو البيانات لإنشاء لوحات معلومات الأعمال ومتابعة المؤشرات التشغيلية والمالية لحظياً
- مهندسو الذكاء الاصطناعي لتشغيل استعلامات التشابه المتجهي لتطبيقات النماذج اللغوية الكبيرة
حالات الاستخدام الشائعة
- استيعاب وفهرسة مئات الجيجابايت من سجلات Nginx وDocker ونظام لينكس يومياً مع سرعة بحث في أجزاء من الثانية
- بناء محرك بحث المتاجر الإلكترونية مع معالجة الأخطاء الإملائية، والاقتراحات الفورية، وفلاتر الأسعار والتصنيفات
- تخزين المتجهات عالية الأبعاد لدعم البحث الدلالي في المستندات وتوصيات الذكاء الاصطناعي
- إنشاء لوحات تحكم لمراقبة أخطاء HTTP ومعدلات استهلاك المعالج وزمن استجابة الواجهات البرمجية
- ضبط تنبيهات آلية ترسل إشعارات فورية عبر Slack أو Webhook عند ارتفاع معدلات الأخطاء بشكل غير طبيعي
الميزات الرئيسية
- محرك بحث موزع مبني على Apache Lucene يدعم تقسيم الفهارس (Sharding) والتوسع الأفقي الضخم
- لوحة OpenSearch Dashboards على المنفذ 5601: رسوم بيانية تفاعلية، خرائط، ومحرر استعلامات متطور
- إضافة البحث بالمتجهات (k-NN Vector Search) الداعمة لخوارزميات Faiss وNMSLIB لتطبيقات الذكاء الاصطناعي
- اكتشاف آلي للشذوذ في البيانات بالاعتماد على خوارزميات التعلم الآلي Random Cut Forest (RCF)
- نظام إدارة دورة حياة الفهارس (ISM) لأتمتة تدوير الفهارس وتطبيق سياسات الحفظ والأرشفة
- توافق كامل مع أدوات جمع السجلات: Logstash وFluentbit وVector وFilebeat وOpenTelemetry
- واجهة RESTful JSON API على المنفذ 9202 تدعم التجميعات المعقدة والبحث الجغرافي
- نشر منظم عبر Docker Compose مع حفظ دائم للبيانات وضبط حجم ذاكرة Java Heap
كيفية الاستخدام بعد التثبيت
- افتح المتصفح وانتقل إلى الرابط http://ip-سيرفرك:5601 للتحقق من تشغيل OpenSearch Dashboards
- افحص حالة الكتلة باستعلام واجهة REST: `curl http://ip-سيرفرك:9202/_cluster/health?pretty`
- انتقل إلى Dashboards ← Management ← Stack Management ← Index Patterns لإنشاء أول نمط فهرس
- اضبط برامج جمع السجلات (مثل Fluentbit أو Vector) لإرسال السجلات إلى http://ip-سيرفرك:9202
- استعرض السجلات الواردة فورياً من قسم Dashboards ← Discover باستخدام لغة الاستعلام DQL
- ضع OpenSearch Dashboards خلف وكيل عكسي مشفر بـ HTTPS (مثل Nginx) مع تفعيل المصادقة لحماية البيانات
- اضبط حجم ذاكرة JVM Heap في ملف docker-compose لتعادل 50% من إجمالي ذاكرة السيرفر
أفضل ممارسات الأمان
- في حال تشغيل النظام دون إضافة الأمان للبيئات المحلية/التجريبية، تأكد من عدم فتح المنفذين 9202 و5601 للإنترنت العام نهائياً
- استخدم وكيلاً عكسياً مشفراً بـ HTTPS مع تفعيل المصادقة (HTTP Basic Auth أو OAuth2) لحماية لوحة Dashboards
- اقصر الوصول لواجهة REST (منفذ 9202) على حاويات التطبيقات وعناوين برامج جمع السجلات عبر جدار الحماية UFW
- في بيئات الإنتاج الكبيرة، فعل إضافة الأمان المدمجة (تشفير اتصالات TLS بين العقد والمصادقة المتقدمة)
- احمِ مجلد البيانات ./data بصلاحيات مناسبة على نظام الملفات بالسيرفر
- حدّث صور حاويات OpenSearch دورياً للحصول على التحديثات الأمنية وإصلاحات الأداء
المنافذ وإعدادات جدار الحماية
يستمع محرك OpenSearch على منفذ TCP 9202 (المحول من 9200 الداخلي) وتستمع لوحة Dashboards على منفذ TCP 5601. في الإنتاج، يجب حماية لوحة التحكم خلف وكيل عكسي مشفر على المنفذ 443، وإبقاء المنفذين 9202 و5601 مغلقين تماماً في جدار الحماية العام للسيرفر.
النسخ الاحتياطي والصيانة
- انسخ مجلد ./data (/usr/share/opensearch/data) احتياطياً، والذي يحتوي على الفهارس والبيانات الوصفية وحالة الكتلة
- استخدم ميزة Snapshot and Restore المدمجة في OpenSearch لأخذ نسخ تراكمية وحفظها محلياً أو في مساحة S3
- صدر لوحات التحكم المحفوظة وأنماط الفهارس من Dashboards ← Stack Management ← Saved Objects
- أتمت النسخ الاحتياطي اليومي للمجلدات وارفعه إلى مساحة تخزين سحابية عبر restic أو rsync
- اختبر الاستعادة بربط مجلد البيانات بحاوية تجريبية والتحقق من حالة الكتلة: `curl localhost:9202/_cluster/health`
الأخطاء الشائعة
- نسيان ضبط قيمة `vm.max_map_count=262144` في سيرفر Ubuntu، مما يسبب انهيار OpenSearch فور محاولة الإقلاع
- فتح المنفذ 9202 للإنترنت العام دون كلمة مرور، مما يتيح لأي شخص قراءة بياناتك أو مسح كافة الفهارس
- تخصيص أكثر من 50% من رامات السيرفر لذاكرة JVM Heap أو تجاوز 31 جيجابايت (مما يعطل ميزة ضغط المؤشرات)
- عدم ربط مجلد التخزين الدائم ./data، مما يسبب مسح كافة السجلات والفهارس عند إعادة تشغيل الحاوية
- التشغيل على سيرفر بذاكرة أقل من 4 جيجابايت RAM، مما يؤدي لقتل عملية Java بواسطة نظام Linux لنفاد الذاكرة
استكشاف الأخطاء وإصلاحها
- انهيار الحاوية بخطأ 'vm.max_map_count is too low' — نفذ الأمر `sudo sysctl -w vm.max_map_count=262144` وثبته في `/etc/sysctl.conf`
- حالة الكتلة تظهر باللون الأحمر (RED) أو الأصفر (YELLOW) — افحص الأجزاء غير المعينة بالأمر `curl http://localhost:9202/_cat/shards?v`
- لوحة Dashboards تظهر 'server is not ready yet' — انتظر 30 ثانية لاكتمال تهيئة بيئة Java وافحص السجلات عبر `docker logs opensearch -f`
- بطء الاستعلامات أو نفاد الوقت — راجع ذاكرة Heap ومساحة القرص (`df -h`) للتأكد من عدم تجاوز حد امتلاء القرص (85%)
- انهيار النظام بسبب نفاد الذاكرة — زد رامات السيرفر أو عدل متغير `OPENSEARCH_JAVA_OPTS: -Xms2g -Xmx2g` في ملف compose
البدائل
حزمة Elasticsearch وKibana هي المنظومة الأصلية التجارية الخاضعة لترخيص SSPL. محرك Meilisearch محرك بحث نصي فائق السرعة بلغة Rust للمواقع. محرك Typesense خيار مفتوح المصدر خفيف وسريع لمعالجة الأخطاء الإملائية. نظام Grafana Loki مخصص لجمع السجلات باستهلاك ضئيل جداً للذاكرة والتخزين. قاعدة ClickHouse قاعدة بيانات عمودية فائقة السرعة للتحليلات الضخمة.
متى لا تستخدمه
تجنب استخدام OpenSearch إذا كنت تحتاج فقط لشريط بحث بسيط لموقع أو مدونة صغيرة (محركات مثل Meilisearch أو Typesense تستهلك 90% أقل من الموارد وأسهل بكثير في الضبط). وإذا كنت ترغب فقط في جمع سجلات السيرفرات بأقل استهلاك ممكن للمساحة والرامات دون الحاجة لفهرسة نصوص المستندات، فإن Grafana Loki أخف بكثير.
هل تحتاج مساعدة احترافية؟
توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.
- التثبيت وتجهيز السيرفر
- الإعداد المتقدم وإعداد التوجيه
- تصليب الأمان وتحسين جدار الحماية
- إعداد شهادات SSL/TLS مع Let's Encrypt
- ربط النطاق المخصص والوكيل العكسي
- جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
- المراقبة الفورية وتنبيهات الجاهزية
- الترحيل من المنصات القائمة
- استكشاف مشكلات الاتصال والأداء وإصلاحها
- سكريبتات أتمتة مخصصة وعقود دعم مستمر
الأسئلة الشائعة
ما الفرق بين OpenSearch وElasticsearch؟
تم إطلاق OpenSearch من قِبل AWS ومؤسسة لينكس كنسخة مفتوحة المصدر بالكامل (Apache 2.0) من Elasticsearch 7.10.2 وKibana. ويحتفظ بتوافق كامل مع الواجهات البرمجية مع توفير ميزات مؤسسية (مثل البحث بالمتجهات والذكاء الاصطناعي وإدارة الفهارس) مجاناً بالكامل.
لماذا يعد ضبط `vm.max_map_count` ضرورياً لـ OpenSearch؟
يستخدم محرك Lucene في OpenSearch ميزة mmapfs لربط فهارس البحث بالذاكرة مباشرة لتحقيق أقصى سرعة ممكنة. والحد الافتراضي في لينكس (65530) ضئيل جداً ويجب زيادته إلى 262144 على الأقل ليعمل المحرك.
هل يمكن استخدام OpenSearch كقاعدة بيانات متجهات (Vector DB) للذكاء الاصطناعي؟
نعم، يحتوي OpenSearch على إضافة البحث المتجهي k-NN المدمجة والداعمة لمحركات Faiss وNMSLIB، مما يجعله قاعدة بيانات متجهات قوية لتطبيقات التوليد المعزز بالاسترجاع (RAG) وتضمينات الذكاء الاصطناعي.
كم يستهلك OpenSearch من الذاكرة العشوائية (RAM)؟
يتطلب OpenSearch 2 جيجابايت RAM كحد أدنى (مع تخصيص 1 جيجابايت لذاكرة JVM Heap)، ويوصى بتوفير 4 إلى 8 جيجابايت RAM في بيئات الإنتاج الفعلية لتحمل ضغط الفهرسة والبحث.
هل يمكن استخدام أدوات جمع السجلات المعتادة (Filebeat وLogstash) مع OpenSearch؟
نعم، يتوافق OpenSearch تماماً مع Logstash وFluentd وFluentbit وVector وعملاء Beats عبر إضافات مخصصة أو عبر واجهات REST API القياسية المتوافقة مع Elasticsearch.