🗄️ تثبيت Apache Kafka — بث الأحداث بوضع KRaft
انشر Apache Kafka على Ubuntu بـ Docker — منصة بث أحداث موزّعة تعمل بوضع KRaft بدون ZooKeeper، مرفقة بواجهة ويب، الوسيط على المنفذ 9094 ولوحة التحكم على المنفذ 8240.
📦 الملفات والأكواد المطلوبة
قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.
التثبيت السريع:
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/databases/kafka/kafka-ubuntu.sh
chmod +x kafka-ubuntu.sh
./kafka-ubuntu.sh
خطوات التنفيذ
1 تحميل السكريبت
wget https://raw.githubusercontent.com/mhmdali94/Docker/main/databases/kafka/kafka-ubuntu.sh
2 منحه صلاحية التنفيذ
chmod +x kafka-ubuntu.sh
3 تشغيل المثبّت
./kafka-ubuntu.sh
4 فتح واجهة الويب
http://your-server-ip:8240
المنافذ المستخدمة
| المنفذ | الغرض |
|---|---|
| 9094 | Kafka broker — external advertised listener for clients |
| 8240 | Kafka web UI for topics, consumer groups, and messages |
| 9092 | Internal PLAINTEXT listener — Docker network only, not exposed |
| 9093 | KRaft controller quorum — Docker network only, not exposed |
نظرة عامة
Apache Kafka هي منصة بث أحداث موزّعة مجانية ومفتوحة المصدر بُنيت أصلاً في LinkedIn وتُصدر برخصة Apache 2.0. يكتب المنتِجون الرسائل إلى مواضيع (topics) مسمّاة، وتُلحَق كل رسالة بسجل دائم وقابل لإعادة التشغيل مقسّم عبر أقسام (partitions)، ويقرأ المستهلكون من ذلك السجل بشكل مستقل بالسرعة التي تناسبهم دون حذف أي شيء منه. يُشغّل هذا النشر Kafka بوضع KRaft، مستخدماً آلية إجماع Kafka المدمجة القائمة على بروتوكول Raft لإدارة بيانات العنقود الوصفية بدلاً من طلب عنقود ZooKeeper منفصل — نظام أقل يجب تثبيته وتأمينه وتشغيله، مرفق بواجهة ويب لتصفح المواضيع ومجموعات المستهلكين والرسائل.
لماذا تستخدمه
تحل Kafka مشكلة لا تحلها طوابير الرسائل التقليدية: تمكين مستهلكين مستقلين متعددين من إعادة تشغيل نفس تدفق الأحداث بالسرعة التي تناسب كل منهم دون أن تؤثر سرعة أحدهم على الآخر، ودون اختفاء الرسائل بمجرد قراءتها. هذا الديمومة وإمكانية إعادة التشغيل تجعلها العمود الفقري للمعماريات القائمة على الأحداث، وخطوط التحليل الفوري، والأنظمة التي تحتاج سجلاً بمستوى التدقيق لكل ما حدث، وليس فقط ما هو موجود حالياً في الطابور. تشغيلها بوضع KRaft يزيل التعقيد التاريخي لإدارة مجموعة ZooKeeper منفصلة، فيستطيع ملف Docker Compose واحد تشغيل وسيط كامل الوظائف للتطوير المحلي أو تعلّم واجهة Kafka أو بناء نماذج أولية لخدمات قائمة على الأحداث.
متى تحتاجه
- تبني معمارية قائمة على الأحداث حيث تحتاج خدمات متعددة للاستجابة لنفس تدفق الأحداث بشكل مستقل
- تحتاج سجلاً دائماً وقابلاً لإعادة التشغيل لكل ما حدث، وليس مجرد طابور مؤقت يفرغ بمجرد القراءة
- تريد فصل المنتِجين عن المستهلكين حتى يتمكنوا من التوسع والفشل والنشر بشكل مستقل عن بعضهم
- تعالج تدفقات بيانات عالية الإنتاجية مثل نقرات المستخدمين أو السجلات أو بيانات إنترنت الأشياء أو المعاملات المالية
- تحتاج مجموعات مستهلكين متعددة تقرأ نفس الموضوع بشكل مستقل لأغراض مختلفة — تحليلات، تنبيهات، تخزين
- تريد تعلّم أو بناء نموذج أولي على واجهة Kafka دون إدارة ZooKeeper أو عنقود إنتاج متعدد الوسطاء
من يحتاجه
- مطورو الخلفية الذين يبنون خدمات مصغّرة قائمة على الأحداث تتواصل عبر تدفقات أحداث دائمة
- مهندسو البيانات الذين يبنون خطوط أنابيب فورية تُغذّي منصات تحليل أو بحيرات بيانات أو معالجات تدفق
- الطلاب والمهندسون الذين يتعلمون نموذج المنتِج/المستهلك/الموضوع في Kafka قبل العمل مع عناقيد إنتاج
- فرق المنصات التي تبني نماذج أولية لمعماريات event sourcing أو CQRS قبل الالتزام بخدمة Kafka مُدارة
- مهندسو DevOps الذين يحتاجون نسخة Kafka محلية لاختبار التكامل في خطوط أنابيب CI/CD
- الشركات الناشئة والفرق الصغيرة التي تريد تجربة معالجة التدفقات دون عبء خدمة سحابية مُدارة
حالات الاستخدام الشائعة
- بث سجلات ومقاييس التطبيقات من خدمات متعددة إلى خط أنابيب مركزي للمراقبة الفورية
- فصل الخدمات المصغّرة بحيث ينشر كل منها أحداثاً دون معرفة أي الخدمات ستستهلكها
- تغذية لوحات تحليل فورية أو خطوط أنابيب تعلم آلي بتدفقات أحداث محدَّثة باستمرار
- تطبيق event sourcing، حيث يُسجَّل كل تغيير حالة في التطبيق كحدث غير قابل للتغيير
- تخزين مؤقت لبيانات عالية الحجم مثل قراءات مستشعرات إنترنت الأشياء أو بيانات النقرات قبل المعالجة الدفعية
- إعادة تشغيل أحداث تاريخية لإعادة بناء حالة التطبيق أو ملء خدمة مستهلك جديدة بأثر رجعي
الميزات الرئيسية
- تخزين سجل دائم وقابل لإعادة التشغيل — تبقى الرسائل على القرص ويمكن إعادة قراءتها من مستهلكين جدد أو حاليين
- وضع KRaft لإجماع بيانات وصفية مدمج، يزيل الحاجة لعنقود ZooKeeper منفصل
- تقسيم المواضيع (partitioning) للتوسع الأفقي والاستهلاك المتوازي عبر مستهلكين متعددين
- مجموعات مستهلكين تتيح لتطبيقات مستقلة متعددة قراءة نفس الموضوع بالسرعة التي تناسب كل منها
- الاحتفاظ بالرسائل قابل للتهيئة حسب الوقت أو الحجم، فيمكن للمواضيع أن تعمل كتخزين مؤقت قصير أو متجر أحداث طويل الأمد
- تصميم عالي الإنتاجية قادر على التعامل مع ملايين الرسائل في الثانية على عناقيد بحجم مناسب
- واجهة ويب مرفقة لتصفح المواضيع وفحص الرسائل ومراقبة تأخر مجموعات المستهلكين
- دعم واسع لمكتبات العملاء عبر Java وPython وGo وNode.js ومعظم لغات البرمجة الرئيسية
كيفية الاستخدام بعد التثبيت
- افتح واجهة الويب على http://your-server-ip:8240 للتأكد من عمل الوسيط وتصفح الواجهة
- أنشئ أول موضوع لك إما عبر واجهة الويب أو بأدوات سطر أوامر Kafka داخل الحاوية
- اربط عميل منتِج بالمنفذ 9094 على المضيف باستخدام مكتبة عميل Kafka المفضلة لديك
- انشر بضع رسائل تجريبية لموضوعك وتأكد من ظهورها في واجهة الويب
- اربط عميل مستهلك وتحقق من قدرته على قراءة الرسائل التي أنتجتها للتو
- أنشئ مجموعة مستهلكين ثانية تقرأ نفس الموضوع للتأكد من عمل الاستهلاك المستقل كما هو متوقع
- راجع إعدادات الموضوع مثل عدد الأقسام وإعدادات الاحتفاظ قبل بناء أحمال عمل حقيقية فوقها
- راقب تأخر مجموعات المستهلكين في واجهة الويب أثناء بناء المنتِجين والمستهلكين لرصد المستهلكين البطيئين مبكراً
أفضل ممارسات الأمان
- يستخدم هذا النشر مستمعاً PLAINTEXT بدون مصادقة — لا تكشف المنفذ 9094 أو 8240 مباشرة للإنترنت أبداً
- أبقِ Kafka على شبكة Docker الداخلية أو الشبكة المحلية، واستخدم VPN أو نفق SSH لأي وصول عن بُعد أثناء التطوير
- إذا احتجت لكشف Kafka خارج شبكتك المحلية، أعدّ مصادقة SASL وتشفير TLS قبل ذلك
- قيّد الخدمات التي يمكنها الوصول للوسيط على مستوى جدار الحماية، لأن أي شخص يستطيع الاتصال يمكنه الإنتاج أو الاستهلاك في أي موضوع
- أبقِ المنفذين الداخليين 9092 و9093 غير منشورين — يجب ألا يكونا قابلين للوصول إلا داخل شبكة Docker
- راجع الوصول على مستوى الموضوع إذا انتقلت نحو الإنتاج، لأن هذا الإعداد أحادي الوسيط بـ PLAINTEXT لا يملك تفويضاً لكل موضوع
- حافظ على تحديث صورة Kafka Docker لتلقي تصحيحات الأمان مع صدور إصدارات جديدة
المنافذ وإعدادات جدار الحماية
يتصل العملاء الخارجيون بالوسيط على المنفذ 9094 على المضيف، وتصل واجهة الويب المرفقة على المنفذ 8240 على المضيف. داخلياً، يستخدم الوسيط أيضاً المنفذ 9092 لمستمعه PLAINTEXT والمنفذ 9093 لعنقود متحكم KRaft، لكن كليهما يبقيان داخل شبكة Docker ولا يُنشران للمضيف أبداً. لأن هذا الإعداد يستخدم PLAINTEXT بدون مصادقة، يجب ألا يُكشف المنفذان 9094 و8240 مباشرة للإنترنت أبداً — أبقهما على شبكتك المحلية أو خلف VPN، ولا تضف وكيلاً عكسياً مع مصادقة أمام واجهة الويب إلا إذا كان الوصول عن بُعد للوحة التحكم ضرورياً فعلاً.
النسخ الاحتياطي والصيانة
- انسخ دليل بيانات Kafka احتياطياً (الوحدة الدائمة المخزّنة فيها سجلات المواضيع وبيانات KRaft الوصفية) إذا احتاجت البيانات نفسها للنجاة من إعادة بناء
- وثّق إعدادات مواضيعك — الأسماء وعدد الأقسام وإعدادات الاحتفاظ — حتى يمكن إعادة إنشائها إذا أُعيد بناء الوسيط من الصفر
- انسخ ملف docker-compose.yml وأي إعدادات بيئة احتياطياً حتى يمكن إعادة نشر الوسيط بشكل مطابق
- للبيانات المهمة فعلياً، فكّر في تكرار Kafka المدمج عبر وسطاء متعددين بدلاً من الاعتماد على النسخ الاحتياطية وحدها، لأن هذا إعداد تطوير أحادي الوسيط بعامل تكرار 1
- صدّر بيانات المواضيع الحرجة إلى وجهة تالية (مثل قاعدة بيانات أو تخزين كائنات) إذا كان سجل الأحداث نفسه هو مصدر الحقيقة الأساسي لديك
- اختبر أن وسيطاً جديداً يستطيع الانضمام أو إعادة إنشاء إعداد عامل من إعداداتك الموثّقة قبل الاعتماد عليه
الأخطاء الشائعة
- معاملة هذا الإعداد أحادي الوسيط بعامل تكرار 1 كأنه جاهز للإنتاج — إنه مبني للتطوير والتعلم والاختبار فقط
- كشف المنفذ 9094 أو 8240 مباشرة للإنترنت، ونسيان أنه لا توجد مصادقة على مستمع PLAINTEXT
- محاولة الوصول للوسيط من خارج شبكة Docker باستخدام اسم مضيفه الداخلي بدلاً من المستمع الخارجي المُعلَن
- عدم ضبط إعدادات احتفاظ مناسبة للمواضيع، ما يسمح لموضوع عالي الإنتاجية بملء مساحة القرص بشكل غير متوقع
- افتراض أن Kafka يعمل مثل طابور رسائل تقليدي حيث تختفي الرسائل بمجرد استهلاكها — تبقى الرسائل حتى تنتهي مدة الاحتفاظ بغض النظر عن الاستهلاك
- تشغيل مواضيع صغيرة كثيرة بأقسام مفرطة، ما يضيف عبئاً غير ضروري لأحمال عمل لا تحتاج هذا المستوى من التوازي
- تجاهل مراقبة تأخر مجموعات المستهلكين، ما يفوّت علامات مبكرة على تخلف مستهلك عن معدل إنتاج المنتِج
استكشاف الأخطاء وإصلاحها
- لا يمكن للمنتِج أو المستهلك الاتصال — تحقق من استخدام المستمع الخارجي المُعلَن على المنفذ 9094، وليس اسم مضيف Docker الداخلي أو المنفذ 9092
- واجهة الويب لا تعرض مواضيع — تأكد من سلامة حاوية الوسيط وأن إعدادات اتصال الواجهة تشير لعنوان الوسيط الصحيح
- الرسائل لا تظهر لمستهلك — تحقق من أن مجموعة المستهلكين لم تستهلك تلك الإزاحات (offsets) بالفعل، وتأكد أنها مشتركة في الموضوع والقسم الصحيحين
- فشل الوسيط في البدء — راجع سجلات الحاوية بحثاً عن عدم تطابق معرّف عنقود KRaft، وهو ما يحدث عادة بعد إعادة إنشاء الوحدات يدوياً دون إعادة تعيين نظيفة للبيانات الوصفية
- تأخر مجموعة المستهلكين يستمر في النمو — المستهلك يعالج أبطأ من نشر المنتِج؛ فكّر في إضافة نسخ مستهلك أكثر ضمن نفس المجموعة للتوازي
- استخدام القرص ينمو بشكل غير متوقع — راجع إعدادات احتفاظ المواضيع، لأن Kafka يحتفظ بالرسائل للوقت أو الحجم المُهيَّأ بغض النظر عن استهلاكها
- مكتبة العميل تُرجع connection refused — تأكد أن جدار الحماية يسمح بحركة المرور على المنفذ 9094 وأن إعداد advertised.listeners للوسيط يطابق طريقة اتصال العملاء
البدائل
RabbitMQ هو المقارنة الأكثر شيوعاً — هو وسيط رسائل يركز على التوجيه وطوابير العمل مع تأكيد لكل رسالة، مناسب جداً لتوزيع المهام، بينما Kafka سجل أحداث دائم وقابل لإعادة التشغيل مبني لمستهلكين مستقلين متعددين يقرؤون نفس التدفق. Redpanda بديل أحدث متوافق مع واجهة Kafka مكتوب بلغة C++ يتخلى تماماً عن JVM وZooKeeper/KRaft، وغالباً بتشغيل أبسط وزمن استجابة أقل، على حساب منظومة أصغر. NATS مع JetStream خيار بث أخف وزناً وأبسط تشغيلاً لأحمال العمل الأصغر. للبدائل المُدارة، تزيل Confluent Cloud وAmazon MSK وخدمات Kafka المستضافة الأخرى عبء التشغيل تماماً مقابل تكلفة متكررة. إذا كنت تحتاج فقط توزيع مهام خلفية بسيط بدلاً من سجل أحداث قابل لإعادة التشغيل، فعادة ما تكون Redis Streams أو وسيط مخصص مثل RabbitMQ أبسط في التعامل.
متى لا تستخدمه
هذا النشر غير مناسب للإنتاج — إنه وسيط واحد بعامل تكرار 1 ومستمع PLAINTEXT بدون مصادقة، ما يعني أن فشل قرص واحد يفقد بياناتك وأن أي شخص يستطيع الوصول للمنفذ يمكنه الإنتاج أو الاستهلاك في أي موضوع. إذا كانت حاجتك الفعلية توزيع مهام بسيط أو طوابير عمل بدلاً من سجل أحداث دائم قابل لإعادة التشغيل، فوسيط رسائل مخصص مثل RabbitMQ أبسط في التعامل والتشغيل. إذا كنت لا تريد إدارة بنية Kafka التحتية إطلاقاً، فخدمة مُدارة مثل Confluent Cloud أو Amazon MSK تتولى التكرار والتوسع والأمان نيابة عنك مقابل تكلفة متكررة. وإذا كان حجم بياناتك صغيراً فعلياً، فقد تكون أداة أبسط مثل Redis Streams أو حتى جدول قاعدة بيانات مع استقصاء دوري أنسب من التعقيد التشغيلي الذي تجلبه Kafka.
هل تحتاج مساعدة احترافية؟
توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.
- التثبيت وتجهيز السيرفر
- الإعداد المتقدم وإعداد التوجيه
- تصليب الأمان وتحسين جدار الحماية
- إعداد شهادات SSL/TLS مع Let's Encrypt
- ربط النطاق المخصص والوكيل العكسي
- جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
- المراقبة الفورية وتنبيهات الجاهزية
- الترحيل من المنصات القائمة
- استكشاف مشكلات الاتصال والأداء وإصلاحها
- سكريبتات أتمتة مخصصة وعقود دعم مستمر
الأسئلة الشائعة
ما هي Apache Kafka؟
Kafka منصة بث أحداث موزّعة. يكتب المنتِجون الرسائل إلى مواضيع مسمّاة، تُلحَق الرسائل بسجل دائم قابل لإعادة التشغيل، ويقرأ منها المستهلكون بشكل مستقل بالسرعة التي تناسبهم.
ما هو وضع KRaft ولماذا يهم؟
KRaft هي آلية الإجماع المدمجة في Kafka التي تتيح لها إدارة بياناتها الوصفية باستخدام بروتوكول Raft، ما يزيل الحاجة لعنقود ZooKeeper منفصل كانت تتطلبه نشرات Kafka الأقدم. هذا يعني نظاماً أقل يجب تثبيته وتأمينه وتشغيله.
ما المنافذ التي يستخدمها؟
يتصل العملاء الخارجيون بالوسيط على المنفذ 9094 على المضيف، وواجهة الويب على المنفذ 8240 على المضيف. داخلياً يستخدم الوسيط أيضاً 9092 لـ PLAINTEXT و9093 لمتحكم KRaft، لكن كليهما يبقيان داخل شبكة Docker.
هل هذا الإعداد جاهز للإنتاج؟
لا — إنه وسيط واحد بعامل تكرار 1 ومستمع PLAINTEXT بدون مصادقة، وهو مثالي للتطوير والتعلم والاختبار مقابل واجهة Kafka، لكن ليس للإنتاج.
كيف تختلف Kafka عن RabbitMQ؟
RabbitMQ وسيط رسائل يركز على التوجيه وطوابير العمل مع تأكيد لكل رسالة، بينما Kafka سجل أحداث دائم قابل لإعادة التشغيل حيث يقرأ مستهلكون متعددون نفس التدفق بشكل مستقل ويمكنهم إعادة اللف للخلف.