🧩 تثبيت Kestra — منصة تنسيق بيانات تصريحية
انشر Kestra على Ubuntu بـ Docker — منصة تنسيق مفتوحة المصدر قائمة على الأحداث تُعرَّف فيها سير العمل بصيغة YAML، مع أكثر من 600 إضافة وقاعدة بيانات PostgreSQL خلفية.
📦 الملفات والأكواد المطلوبة
قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.
التثبيت السريع:
wget https://raw.githubusercontent.com/mhmdali94/Docker/refs/heads/main/automation/kestra/kestra-ubuntu.sh
chmod +x kestra-ubuntu.sh
sudo bash kestra-ubuntu.sh
خطوات التنفيذ
1 تحميل السكريبت
wget https://raw.githubusercontent.com/mhmdali94/Docker/refs/heads/main/automation/kestra/kestra-ubuntu.sh
2 منحه صلاحية التنفيذ
chmod +x kestra-ubuntu.sh
3 تشغيل المثبّت
يثبّت السكريبت Docker إن لزم، يسحب صورتي Kestra وPostgreSQL، ويُشغّل الحزمة الكاملة مع تخزين دائم لسير العمل والتنفيذات والسجلات.
sudo bash kestra-ubuntu.sh
4 الدخول إلى واجهة الويب
افتح متصفحك وانتقل إلى واجهة Kestra. من هناك يمكنك إنشاء أول سير عمل باستخدام محرر YAML أو أمثلة سير العمل المدمجة:
http://:8080
المنافذ المستخدمة
| المنفذ | الغرض |
|---|---|
| 8080 | Kestra Web UI + REST API |
| 8081 | Internal management endpoints |
| 5432 | PostgreSQL (internal only) |
نظرة عامة
Kestra منصة تنسيق مفتوحة المصدر بالكامل وقائمة على الأحداث، مُصدرة برخصة Apache 2.0، لبناء سير عمل مجدول وقائم على الأحداث على حد سواء. على عكس منسقات سير العمل التي تتطلب كتابة كود إجرائي، تُعرَّف سير عمل Kestra بصيغة YAML تصريحية، ما يجعلها قابلة للتحكم بالإصدارات ومستقلة عن لغة برمجة معينة ومقروءة من أشخاص ليسوا بالضرورة مطوري Python أو Java. تأتي مع نظام إضافات ضخم يغطي قواعد البيانات ومزودي السحابة وأنظمة الرسائل وdbt وSpark وKubernetes ومهام الذكاء الاصطناعي/نماذج اللغة، وتتضمن واجهة ويب مدمجة لبناء سير العمل واختباره ومراقبته دون مغادرة المتصفح.
لماذا تستخدمه
تتطلب المنسقات التقليدية مثل Airflow كتابة ونشر DAGs بلغة Python، ما يخلق احتكاكاً للفرق التي تريد التحكم بإصدارات سير العمل دون صيانة قاعدة كود Python. يقلل نهج YAML التصريحي في Kestra من هذا الحاجز مع دعمه الكامل للبرمجة النصية (Python، Shell، Node.js) داخل المهام الفردية عند الحاجة. مُشغّلاته القائمة على الأحداث (وليس جداول cron فقط) تتيح لسير العمل الاستجابة للملفات الجديدة أو الرسائل أو استدعاءات API في الوقت الفعلي، ونظام الإضافات يعني أن معظم التكاملات — قواعد البيانات، التخزين السحابي، Slack، dbt — تصبح بضعة أسطر من YAML بدلاً من كود مخصص.
متى تحتاجه
- تحتاج تنسيق خطوط أنابيب بيانات مجدولة أو قائمة على الأحداث عبر أنظمة متعددة وتريد لوحة تحكم واحدة
- يريد فريقك سير عمل تصريحياً وقابلاً للتحكم بالإصدارات في Git، وليس سكريبتات متناثرة أو أدلة تشغيل يدوية
- تحتاج تشغيل سير العمل من أحداث فورية — ملفات جديدة، طلبات webhook واردة، رسائل طابور — وليس جداول cron فقط
- تجاوزت مهام cron البسيطة أو حيل خطوط أنابيب CI وتحتاج إعادة محاولات ومخططات تبعيات وتاريخ تنفيذ
- تريد توحيد سير عمل ETL/ELT أو خطوط أنابيب التعلم الآلي أو أتمتة البنية التحتية عبر الفرق دون أن يتعلم الجميع SDK برمجي معين
- تحتاج سجلات تنفيذ مفصلة وسياسات إعادة محاولة وتنبيهات لخطوط أنابيب يجب أن تعمل بموثوقية في الإنتاج
من يحتاجه
- مهندسو البيانات الذين يبنون خطوط أنابيب ETL/ELT ويريدون بديلاً تصريحياً لـ DAGs بايثون في Airflow
- فرق المنصات وDevOps التي تؤتمت مهام البنية التحتية والنشر ومهام الصيانة المجدولة
- فرق علوم البيانات والتعلم الآلي التي تنسّق خطوط أنابيب التدريب ومهام التقييم الدفعي وسير عمل نشر النماذج
- فرق الواجهة الخلفية التي تنسّق عمليات أعمال متعددة الخطوات تمتد عبر عدة خدمات داخلية وخارجية
- المنظمات التي تستبدل مزيجاً من مهام cron وحيل خطوط أنابيب CI بمنصة تنسيق حقيقية
- الفرق التي تريد واجهة مرئية وتحكماً كاملاً بالإصدارات عبر YAML/Git لسير عملها
حالات الاستخدام الشائعة
- تنسيق خطوط أنابيب ETL ليلية تسحب من واجهات API وقواعد بيانات إلى مستودع بيانات
- تشغيل سير عمل تلقائياً عند وصول ملف جديد للتخزين السحابي أو وصول رسالة لطابور
- تنسيق خطوط أنابيب تعلم آلي متعددة الخطوات — تحضير البيانات، التدريب، التقييم، النشر — بتبعيات واضحة
- تشغيل مهام بنية تحتية مجدولة مثل النسخ الاحتياطي والتنظيف وفحوصات الصحة مع إعادة محاولة وتنبيهات مدمجة
- ربط مهام dbt أو Spark أو Kubernetes معاً في خط أنابيب واحد مراقَب وذي إصدارات
- استبدال سكريبتات cron العشوائية على سيرفر بسير عمل مراقَب وقابل للتدقيق له تاريخ تنفيذ
الميزات الرئيسية
- تعريفات سير عمل تصريحية بصيغة YAML قابلة للتحكم بالإصدارات بالكامل ومستقلة عن لغة برمجة معينة
- أكثر من 600 إضافة تغطي قواعد البيانات ومزودي السحابة (AWS وGCP وAzure) وأنظمة الرسائل وdbt وSpark وKubernetes ومهام الذكاء الاصطناعي/نماذج اللغة
- مُشغّلات قائمة على الأحداث — استجب للملفات أو webhooks أو رسائل الطابور أو الجداول، وليس cron فقط
- واجهة ويب مدمجة لبناء سير العمل بصرياً واختباره ومراقبة تاريخ التنفيذ والسجلات
- فصل بالمساحات الاسمية (namespaces) والبيئات لتنظيم سير العمل عبر الفرق والمراحل (تطوير/تجريبي/إنتاج)
- إعادة محاولات على مستوى المهمة، ومهلات، ومنطق شرطي (if/else، تنفيذ متوازٍ، سير عمل فرعي) لخطوط أنابيب قوية
- مهام سكريبت مدمجة تدعم Python وShell وNode.js عندما لا تغطي إضافة ما احتياجك بالضبط
- سجلات تنفيذ ومقاييس مفصلة وخطافات تنبيه لمراقبة سير العمل في الإنتاج
كيفية الاستخدام بعد التثبيت
- افتح واجهة Kestra على المنفذ 8080 واستكشف سير العمل النموذجي المدمج لفهم بنية YAML
- أنشئ سير عملك الأول، إما عبر المحرر المرئي أو بكتابة YAML مباشرة، وانقر Execute لاختباره
- أعدّ بنية مساحات اسمية تطابق فرقك أو بيئاتك (مثل company.data وcompany.infra)
- تصفح كتالوج الإضافات وأضف الإضافات التي تحتاجها تكاملاتك — قواعد بيانات، تخزين سحابي، قنوات إشعارات
- اضبط جدولاً أو مُشغّل حدث لسير عملك بدلاً من تشغيله يدوياً في كل مرة
- راجع تبويب Executions لرؤية السجلات والتوقيت والمخرجات لكل تشغيل، واضبط إعادة المحاولة للمهام غير المستقرة
- اربط Kestra بمستودع Git الخاص بك لتخزين ملفات YAML لسير العمل والتحكم بإصداراتها بشكل صحيح
أفضل ممارسات الأمان
- لا تكشف المنفذ 8080 مباشرة للإنترنت أبداً — ضع Kestra خلف وكيل عكسي بـ HTTPS ومصادقة
- استخدم إدارة الأسرار المدمجة في Kestra (أو مدير أسرار خارجي) بدلاً من ترميز بيانات الاعتماد مباشرة في YAML سير العمل
- قيّد الوصول لقاعدة البيانات — يجب أن تبقى قاعدة بيانات PostgreSQL الخلفية على المنفذ 5432 داخلية لشبكة Docker فقط
- أعدّ تحكماً بالوصول قائماً على الأدوار (نسخة Enterprise) أو مصادقة عند الوكيل العكسي لتقييد من يمكنه إنشاء أو تشغيل سير العمل
- دقّق الإضافات التي تملك صلاحيات واسعة (بيانات اعتماد مزود سحابي، وصول Kubernetes) وقيّد بيانات اعتمادها بإحكام
- أبقِ صورة Kestra Docker محدّثة لتلقي تصحيحات الأمان وإصلاحات الإضافات الجديدة
- راجع سجلات التنفيذ دورياً بحثاً عن مُشغّلات سير عمل غير متوقعة أو تنفيذات يدوية غير مصرح بها
المنافذ وإعدادات جدار الحماية
تكشف Kestra واجهة الويب وواجهة REST البرمجية على المنفذ 8080 — وهو المنفذ الذي يستخدمه فريقك لبناء سير العمل وتشغيله ومراقبته، ويجب أن يجلس خلف وكيل عكسي بـ HTTPS ومصادقة بدلاً من كشفه مباشرة. يخدم المنفذ 8081 نقاط نهاية إدارة داخلية (فحوصات الصحة، المقاييس) التي عادة ما تحتاجها أدوات المراقبة أو عنقود Kestra نفسه فقط، وليس المستخدمين النهائيين. المنفذ 5432 هو قاعدة بيانات PostgreSQL الخلفية ويجب أن يبقى داخلياً لشبكة Docker — لا تنشره أبداً لمنفذ على المضيف أو تكشفه خارجياً.
النسخ الاحتياطي والصيانة
- خذ نسخة احتياطية من قاعدة بيانات PostgreSQL التي تخزن تعريفات سير العمل وتاريخ التنفيذ والسجلات والبيانات الوصفية
- أبقِ ملفات YAML لسير عملك في مستودع Git كمصدر الحقيقة الأساسي، بشكل مستقل عن نسخة قاعدة البيانات الاحتياطية
- خذ نسخة احتياطية من docker-compose.yml وأي إعدادات إضافات مخصصة أو متغيرات بيئة
- صدّر إعدادات المساحات الاسمية والأسرار إذا كنت تستخدم مدير أسرار Kestra المدمج
- خزّن النسخ الاحتياطية خارج المضيف على تخزين منفصل، واختبر استعادة قاعدة البيانات على نسخة احتياطية دورياً
- وثّق الإضافات وإصداراتها المستخدمة حتى تطابق نسخة مُعاد بناؤها البيئة الأصلية
الأخطاء الشائعة
- كشف المنفذ 8080 مباشرة للإنترنت دون وكيل عكسي أو مصادقة أو HTTPS
- ترميز بيانات الاعتماد مباشرة في YAML سير العمل بدلاً من استخدام إدارة أسرار Kestra
- معاملة الواجهة كمصدر الحقيقة بدلاً من تخزين YAML سير العمل في Git، ما يفقد تاريخ الإصدارات
- عدم ضبط إعادة محاولات أو مهلات للمهام التي تستدعي واجهات API خارجية، ما يجعل سير العمل يتعلق إلى الأبد عند أعطال مؤقتة
- تشغيل كل شيء في مساحة اسمية واحدة بدلاً من فصل سير العمل حسب الفريق أو البيئة، ما يخلق تعارضات تسمية
- تخطي النسخ الاحتياطي لقاعدة بيانات PostgreSQL، ما يفقد كل تاريخ التنفيذ وحالة سير العمل إذا فُقدت الحاوية
- عدم مراقبة أعطال التنفيذ، بحيث تفشل خطوط الأنابيب المعطوبة بصمت حتى يلاحظ أحدهم بيانات مفقودة لاحقاً
استكشاف الأخطاء وإصلاحها
- سير العمل يفشل في التنفيذ — تحقق من تبويب Executions لخطأ المهمة المحدد وراجع سجلات تلك المهمة مباشرة
- تعذر الاتصال بالواجهة — تأكد أن حاوية Kestra تعمل ويمكن الوصول إليها على المنفذ 8080، وتحقق من تعارضات المنفذ
- مهمة إضافة تفشل بخطأ مصادقة — تحقق أن بيانات الاعتماد أو الأسرار المضبوطة لتلك الإضافة صحيحة وغير منتهية الصلاحية
- المُشغّل لا يعمل حسب الجدول — تحقق من إعدادات مُشغّل سير العمل وتأكد أن مكوّن المجدول في Kestra يعمل
- أخطاء اتصال بقاعدة البيانات عند البدء — تأكد أن حاوية PostgreSQL سليمة قبل بدء Kestra، لأن Kestra يعتمد عليها
- سير العمل يتنفذ بنجاح لكن دون مخرجات — تحقق أن مهمة المخرج المقصودة اكتملت فعلاً ولم يتخطها منطق شرطي
- استخدام ذاكرة مرتفع أثناء تنفيذات كبيرة — راجع ما إذا كانت المهام تُحمّل مجموعات بيانات كاملة في الذاكرة بدلاً من بثّها
البدائل
Apache Airflow هو المنسق مفتوح المصدر الأكثر رسوخاً، بنظام بيئي ضخم، لكنه يتطلب كتابة DAGs بلغة Python وله منحنى تعلم تشغيلي أكثر انحداراً. Windmill بديل أحدث يركز على السكريبت أولاً، يشدد على تنفيذ سريع لسكريبتات Python/TypeScript/Go بنموذج سير عمل أخف. تركز n8n وActivepieces أكثر على الأتمتة منخفضة الكود وتكاملات التطبيقات بدلاً من تنسيق خطوط أنابيب بيانات ثقيلة. Prefect وDagster منسقان أصليان لـ Python بكتابة قوية ووعي بأصول البيانات، أنسب للفرق الملتزمة بالفعل بمكدس Python أولاً. للفرق التي تريد منسقاً تصريحياً قائماً على YAML بكتالوج إضافات ضخم ونواة مفتوحة المصدر حقاً، تُعد Kestra أحد أقوى الخيارات الحديثة.
متى لا تستخدمه
تجاوز Kestra إذا كان فريقك مستثمراً بعمق بالفعل في Airflow بمكتبة DAGs كبيرة موجودة — الترحيل له تكلفة حقيقية قد لا تستحق العناء ما لم تكن قيود Airflow تسبب ألماً فعلياً. إذا كنت تحتاج فقط سكريبتات مجدولة بسيطة وغير متكررة، فإن مهمة cron أو مُشغّل مجدول في خط أنابيب CI/CD أبسط بكثير من تشغيل منصة تنسيق كاملة. الفرق التي تفضل بشدة كتابة خطوط الأنابيب بالكامل بلغة Python بكتابة أصلية (بدلاً من YAML بالإضافة لسكريبتات مدمجة) قد تجد Prefect أو Dagster أنسب لسير عملها.
هل تحتاج مساعدة احترافية؟
توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.
- التثبيت وتجهيز السيرفر
- الإعداد المتقدم وإعداد التوجيه
- تصليب الأمان وتحسين جدار الحماية
- إعداد شهادات SSL/TLS مع Let's Encrypt
- ربط النطاق المخصص والوكيل العكسي
- جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
- المراقبة الفورية وتنبيهات الجاهزية
- الترحيل من المنصات القائمة
- استكشاف مشكلات الاتصال والأداء وإصلاحها
- سكريبتات أتمتة مخصصة وعقود دعم مستمر
الأسئلة الشائعة
هل Kestra مجاني ومفتوح المصدر حقاً؟
نعم. محرك التنسيق الأساسي في Kestra مفتوح المصدر بالكامل برخصة Apache 2.0، دون أي قيود على الميزات في عمليات النشر ذاتية الاستضافة. تقدم Kestra أيضاً نسخة Enterprise مدفوعة بميزات إضافية مثل تحكم دقيق بالوصول قائم على الأدوار وSSO/SAML ودعم مخصص، لكن النسخة مفتوحة المصدر تغطي الغالبية العظمى من حالات الاستخدام ذاتية الاستضافة.
هل أحتاج معرفة Python لاستخدام Kestra؟
لا. تُعرَّف سير العمل تصريحياً بصيغة YAML، بحيث يمكنك بناء خطوط أنابيب كاملة باستخدام مهام الإضافات دون كتابة أي كود. مع ذلك، تدعم Kestra أيضاً مهام سكريبت مدمجة بـ Python وShell وNode.js للحالات التي لا توجد فيها إضافة معينة أو تحتاج منطقاً مخصصاً داخل مهمة.
كيف تختلف Kestra عن Apache Airflow؟
يُعرّف Airflow سير العمل كـ DAGs بلغة Python يجب نشرها ككود. تُعرّف Kestra سير العمل تصريحياً بصيغة YAML، ما يجعلها أسهل في التحكم بالإصدارات والقراءة والتوليد برمجياً، وتدعم مُشغّلات مجدولة وقائمة على الأحداث أصلياً بدلاً من أن تكون مرتكزة على الجدولة بشكل أساسي.
هل يمكن لـ Kestra تشغيل سير عمل من أحداث، وليس فقط جداول؟
نعم. تدعم Kestra مُشغّلات قائمة على الأحداث جنباً إلى جنب مع جداول cron — يمكن لسير العمل أن يبدأ تلقائياً عند ظهور ملف جديد في التخزين، أو وصول رسالة لطابور، أو استدعاء webhook، أو اكتمال سير عمل آخر، بالإضافة للتشغيل حسب جدول ثابت.
ما قاعدة البيانات التي تتطلبها Kestra؟
تتطلب Kestra قاعدة بيانات خلفية لتخزين تعريفات سير العمل وحالة التنفيذ والسجلات. PostgreSQL هو الخيار الأكثر شيوعاً لعمليات النشر ذاتية الاستضافة وهو ما يستخدمه إعداد Docker في هذا الدرس؛ MySQL مدعومة أيضاً كقاعدة بيانات خلفية بديلة.
