⚡ تثبيت Apache Airflow — منصة تنسيق سير العمل

انشر Apache Airflow على Ubuntu بـ Docker — المنصة المعيارية في الصناعة لكتابة وجدولة ومراقبة خطوط أنابيب البيانات ككود، على المنفذ 8210.

⚠️ راجع أي سكريبت دائمًا قبل تشغيله على سيرفرك، واختبره في بيئة تجريبية أولاً.

📦 الملفات والأكواد المطلوبة

قبل البدء، يرجى التأكد من تحميل الأكواد المطلوبة من مستودعنا على GitHub لتتمكن من تطبيق الخطوات مع الفيديو بسهولة.

سكريبت تثبيت آلي — أمر واحد ينشر Airflow في وضع standalone على المنفذ 8210. كلمة مرور المشرف تُطبع في سجلات الحاوية.
عرض على GitHub

التثبيت السريع:

wget https://raw.githubusercontent.com/mhmdali94/Docker/main/automation/airflow/airflow-ubuntu.sh
chmod +x airflow-ubuntu.sh
sudo bash airflow-ubuntu.sh

خطوات التنفيذ

1 تحميل السكريبت

wget https://raw.githubusercontent.com/mhmdali94/Docker/main/automation/airflow/airflow-ubuntu.sh

2 منحه صلاحية التنفيذ

chmod +x airflow-ubuntu.sh

3 تشغيل المثبّت

يثبّت السكريبت Docker إن لزم الأمر ويُشغّل Airflow بأمر standalone على المنفذ 8210، مع تعطيل أمثلة DAGs، وحفظ كل شيء في حجم ./data.

sudo bash airflow-ubuntu.sh

4 الحصول على كلمة مرور المشرف من السجلات

يولّد وضع standalone كلمة مرور مشرف عند أول تشغيل ويكتبها في السجلات — استرجعها، ثم سجّل الدخول كمشرف:

docker logs airflow  # find the generated admin password

المنافذ المستخدمة

المنفذالغرض
8210Web UI (host → container 8080) — user admin, password in the logs
standaloneSingle-container mode with an embedded database — for learning and light use
./dataDAGs, metadata database, connections, and logs

نظرة عامة

Apache Airflow هي المنصة المعيارية في الصناعة مفتوحة المصدر لكتابة وجدولة ومراقبة سير العمل، غالباً خطوط أنابيب البيانات. بدلاً من تجميع سير عمل بنقرات في واجهة رسومية، تُعرّفه كـ DAG بايثون (رسم بياني موجّه لا دوري) — مجموعة مهام باعتماديات صريحة — ويُشغّلها مجدول Airflow بالترتيب الصحيح، ويُعيد محاولة الفاشلة وفق سياستك، ويسجّل تاريخ وسجلات ومدة كل تشغيل في واجهة ويب غنية. تُشغّل هذه النسخة Airflow في وضع standalone، وهو حاوية واحدة بقاعدة بيانات مدمجة مثالية لتعلّم المنصة أو الأحمال الخفيفة، بدلاً من إعداد المكوّنات المتعددة Celery/Kubernetes المستخدم في عمليات النشر الإنتاجية الكبيرة.

لماذا تستخدمه

مهام cron والسكريبتات المؤقتة تعمل جيداً حتى تمتلك أكثر من مهام قليلة مترابطة — عندها تحتاج معرفة أي خطوة فشلت، وهل يجب أن تستمر الخطوات التالية بالتشغيل، وكيف تُعيد محاولة القطعة المعطلة فقط دون إعادة تشغيل كل شيء. يحل Airflow هذا بالضبط: الاعتماديات صريحة في الكود، والأعطال مرئية وقابلة لإعادة المحاولة لكل مهمة، وتُظهر واجهة الويب تاريخاً كاملاً لكل تشغيل. ولأن خطوط الأنابيب بايثون، فهي خاضعة للتحكم بالإصدارات وقابلة للاختبار والمراجعة كأي كود آخر، وبيئة Airflow الضخمة من حزم المزودين تعني أنه يمتلك بالفعل تكاملاً مع كل قاعدة بيانات وخدمة سحابية وواجهة برمجة تقريباً قد تحتاج تمرير بياناتك عبرها.

متى تحتاجه

  • لديك أكثر من بضع مهام مجدولة مترابطة وتحتاج رؤية أي خطوة فشلت ولماذا
  • تريد تعريفات سير عملك في كود بايثون خاضع للتحكم بالإصدارات بدلاً من أداة أتمتة تعتمد فقط على واجهة رسومية
  • تحتاج إعادة محاولة لكل مهمة وتنبيهات بدلاً من مهمة cron كل شيء أو لا شيء تفشل بصمت
  • تبني أو تتعلم خطوط أنابيب هندسة البيانات وتريد خبرة عملية بالمنسّق المعياري في الصناعة
  • تحتاج تنسيق مهام عبر أنظمة متعددة (قواعد بيانات وواجهات برمجة وتخزين سحابي) بمكتبة Airflow الكبيرة من تكاملات المزودين
  • تريد واجهة ويب غنية تُظهر تاريخ تشغيل DAG وسجلات المهام واتجاهات المدة بدلاً من تحليل ملفات سجل cron

من يحتاجه

  • مهندسو البيانات الذين يبنون ويجدولون خطوط أنابيب ETL/ELT تنقل وتحوّل البيانات بين الأنظمة
  • فرق التحليلات التي تحتاج جدولة موثوقة وقابلة للمراقبة للتقارير المتكررة وتحديثات البيانات
  • المطورون والطلاب الذين يتعلمون مفاهيم تنسيق سير العمل بالمنصة الأكثر طلباً في وظائف هندسة البيانات
  • ممارسو MLOps الذين يحتاجون جدولة ومراقبة خطوط أنابيب تدريب النماذج أو الاستدلال الدفعي
  • عشاق المختبر المنزلي والاستضافة الذاتية الذين يؤتمتون خطوط أنابيب بيانات أو وسائط شخصية متعددة الخطوات
  • الفرق الصغيرة التي تستبدل شبكة معقدة من مهام cron وسكريبتات shell بسير عمل مرئي وقابل لإعادة المحاولة وواعٍ بالاعتماديات

حالات الاستخدام الشائعة

  • استخراج بيانات من واجهة برمجة أو قاعدة بيانات وفق جدول، وتحويلها، وتحميلها في مستودع بيانات
  • ربط سلسلة من المهام المترابطة — تنزيل، تحقق، تحويل، تحميل — مع إعادة محاولة تلقائية عند الفشل
  • تشغيل خط أنابيب إعادة تدريب نموذج تعلّم آلي وفق جدول أو عند وصول بيانات جديدة
  • تنسيق مهام النسخ الاحتياطي أو توليد التقارير أو معالجة الملفات التي تحتاج تشغيلاً بترتيب محدد
  • مراقبة أعطال خط الأنابيب والتنبيه عليها بدلاً من اكتشاف مهمة cron معطلة بعد أيام
  • تعلّم كتابة DAG بايثون ونموذج مجدول/منفّذ Airflow لبناء مهارات هندسة البيانات

الميزات الرئيسية

  • سير عمل معرَّف كـ DAG بايثون — مهام باعتماديات صريحة، خاضعة للتحكم بالإصدارات كأي كود آخر
  • واجهة ويب غنية تُظهر رسوم DAG البيانية وتاريخ التشغيل وسجلات المهام ومخططات Gantt واتجاهات المدة
  • سياسات إعادة محاولة لكل مهمة وتنبيهات وتتبع SLA بدلاً من أعطال وظيفة كل شيء أو لا شيء
  • بيئة ضخمة من حزم المزودين بمشغّلات جاهزة لقواعد البيانات والمنصات السحابية والواجهات البرمجية
  • وضع standalone يجمع المجدول وسيرفر الويب وقاعدة بيانات مدمجة في حاوية واحدة لإعداد سريع
  • توليد DAG ديناميكي — يمكن توليد خطوط الأنابيب برمجياً بدلاً من كتابتها يدوياً واحدة تلو الأخرى
  • دعم التعبئة الرجعية (backfilling) لتشغيل DAG بأثر رجعي على نطاق تاريخي من التواريخ
  • قابل للتوسيع عبر مشغّلات وhooks وحسّاسات مخصصة للتكاملات غير المغطاة بحزم المزودين الحالية

كيفية الاستخدام بعد التثبيت

  • شغّل docker logs airflow وابحث عن كلمة مرور المشرف المُولَّدة، ثم سجّل الدخول على http://your-server-ip:8210 كمشرف
  • غيّر كلمة مرور المشرف فور تسجيل الدخول الأول، فالكلمة المُولَّدة موجودة فقط في السجلات
  • استكشف أمثلة DAGs (إن كانت مفعّلة) أو اكتب أول DAG بسيط في دليل ./data/dags لتعلّم واجهة برمجة بايثون
  • أعدّ Connection في Admin → Connections لكل نظام خارجي (قاعدة بيانات، واجهة برمجة، خدمة سحابية) ستلمسه DAGs الخاصة بك
  • اضبط سياسات إعادة محاولة المهام والتنبيه بالبريد/Slack عند الفشل حتى تُبلَّغ دون مراقبة الواجهة باستمرار
  • راجع عروض رسم DAG البياني ومخطط Gantt لفهم اعتماديات المهام وأين يُستهلك الوقت
  • إذا نمت الأحمال أبعد من قدرة وضع standalone، خطّط للانتقال لـ CeleryExecutor أو KubernetesExecutor للنطاق الإنتاجي
  • انسخ حجم ./data احتياطياً بانتظام، فهو يحمل DAGs وقاعدة بيانات البيانات الوصفية والاتصالات والسجلات في وضع standalone

أفضل ممارسات الأمان

  • لا تكشف المنفذ 8210 مباشرة للإنترنت العام دون وكيل عكسي يوفر HTTPS، ويُفضّل مصادقة إضافية
  • غيّر كلمة مرور المشرف المُولَّدة فوراً — ترك كلمة المرور المستخرَجة من السجل دون تغيير يمثل خطر بيانات اعتماد دائم
  • خزّن بيانات اعتماد الاتصال (كلمات مرور قواعد البيانات، مفاتيح API) باستخدام ميزة Connections في Airflow بدلاً من ترميزها في كود DAG
  • قيّد من يملك وصولاً لكود DAG وحجم ./data، فـ Airflow يُنفّذ بايثون تعسفياً ببيانات الاعتماد المُعدّة في Connections
  • حافظ على تحديث صورة Docker، فـ Airflow يُصدر إصلاحات أمان بانتظام ولا يجب معاملة وضع standalone كاستثناء من التحديثات
  • استخدم جدار حماية أو VPN لتقييد الوصول لواجهة الويب على شبكة إدارتك بدلاً من كشفها على نطاق واسع
  • راجع قائمة حزم المزودين المثبَّتة دورياً واحذف ما لا تستخدمه فعلياً لتقليل سطح الهجوم
  • تجنّب تشغيل كود DAG من مصادر غير موثوقة، فـ Airflow يُنفّذه بصلاحيات الحاوية الكاملة

المنافذ وإعدادات جدار الحماية

تُنشَر واجهة ويب Airflow وواجهة برمجتها على المنفذ 8210 على المضيف، المُعيَّن من المنفذ الداخلي 8080 في الحاوية. في وضع standalone يخدم هذا المنفذ الواحد كل شيء — سيرفر الويب، ويعمل المجدول فعلياً إلى جانبه في نفس الحاوية. ولأن Airflow يُنفّذ كود خط أنابيبك ويحمل بيانات اعتماد كل نظام تتصل به DAGs الخاصة بك، يجب ألا يكون المنفذ 8210 قابلاً للوصول مباشرة من الإنترنت العام أبداً. ضعه خلف وكيل عكسي بـ HTTPS لأي وصول عن بُعد، وقيّد الوصول الوارد في الجدار الناري على وكيلك العكسي أو VPN مثل WireGuard بدلاً من فتحه على نطاق واسع.

النسخ الاحتياطي والصيانة

  • انسخ حجم ./data احتياطياً بانتظام — في وضع standalone يحمل DAGs وقاعدة البيانات الوصفية المدمجة والاتصالات والسجلات معاً
  • صدّر ملفات DAG إلى نظام تحكم بالإصدارات (git) بشكل منفصل عن نسخة حجم البيانات، فـ DAGs كود ويستفيد من التحكم الصحيح بالإصدارات
  • وثّق أو صدّر إعداد Connections وVariables، فإعادة إنشائها يدوياً بعد فقدانها مملة وعرضة للأخطاء
  • انسخ docker-compose.yml أو أمر التشغيل احتياطياً حتى يمكن إعادة إنشاء إعداد standalone الدقيق على مضيف جديد
  • احفظ النسخ الاحتياطية خارج السيرفر، خاصة قبل ترقيات إصدار Airflow الكبرى التي قد تتضمن ترحيلات مخطط قاعدة البيانات
  • اختبر استعادة أحياناً: شغّل حاوية جديدة بحجم ./data المستعاد وتأكد أن DAGs والتاريخ والاتصالات كلها سليمة

الأخطاء الشائعة

  • عدم تغيير كلمة مرور المشرف أبداً بعد استرجاعها من السجلات، ما يترك بيانات اعتماد عاشت في سجلات نصية عادية قيد الاستخدام الدائم
  • ترميز كلمات مرور قواعد البيانات أو مفاتيح API مباشرة في كود DAG بدلاً من استخدام ميزتَي Connections وVariables في Airflow
  • كشف المنفذ 8210 للإنترنت دون وكيل عكسي أو مصادقة إضافية أمام واجهة الويب
  • معاملة وضع standalone كجاهز للإنتاج للأحمال الثقيلة — فهو مخصص للتعلّم والاستخدام الخفيف، وليس تنفيذ خطوط أنابيب عالية الحجم
  • عدم نسخ حجم ./data احتياطياً، ثم فقدان كل تاريخ DAG والاتصالات والسجلات بعد إعادة إنشاء حاوية أو عطل مضيف
  • كتابة DAGs باعتماديات ضمنية على ترتيب التنفيذ بدلاً من اعتماديات مهام صريحة، ما يسبب حالات تسابق وأعطالاً محيّرة

استكشاف الأخطاء وإصلاحها

  • لا يمكن إيجاد كلمة مرور المشرف ← شغّل docker logs airflow وابحث تحديداً عن السطر المحتوي على 'password'؛ يُعرض مرة واحدة فقط عند أول تشغيل
  • واجهة الويب غير متاحة ← تأكد أن الحاوية تعمل وأنك تتصفح المنفذ 8210 على المضيف، وليس المنفذ الداخلي 8080 للحاوية
  • DAG لا يظهر في الواجهة ← تحقق من ملف DAG بحثاً عن أخطاء صياغة بايثون، فـ Airflow يتخطى بصمت الملفات التي تفشل في التحليل؛ راجع سجلات المجدول
  • مهمة تفشل بخطأ اتصال ← تحقق أن الـ Connection المعنية مُعدّة بشكل صحيح في Admin → Connections، بما فيها المضيف والمنفذ وبيانات الاعتماد
  • المجدول يبدو عالقاً أو DAGs لا تُشغَّل ← تحقق أن عملية المجدول داخل وضع standalone تعمل فعلياً، وليس فقط سيرفر الويب
  • المهمة تعيد المحاولة إلى ما لا نهاية دون نجاح ← راجع سجلات المهمة للخطأ الأساسي الفعلي بدلاً من افتراض أنه عابر
  • الأداء يتراجع مع إضافة DAGs أكثر ← قاعدة البيانات المدمجة في وضع standalone لها حدود؛ فكّر في الانتقال لإعداد منفّذ حقيقي بـ PostgreSQL للأحمال الأثقل

البدائل

تُعرّف Kestra سير العمل بصيغة YAML بدلاً من بايثون، وهو ما تجده بعض الفرق أسهل للقراءة والكتابة، وأخف تشغيلاً عموماً من نشر Airflow كامل. يحوّل Windmill السكريبتات إلى سير عمل مجدول وتطبيقات ويب داخلية بعبء تنسيق أقل، ما يناسب الفرق التي تريد أتمتة دون نموذج كتابة DAG الكامل لـ Airflow. Prefect وDagster منسّقان أحدث مبنيان بايثون بأدوات مطور أكثر حداثة وتتبع أصول بيانات مدمج، رغم أن بيئتهما أصغر من بيئة Airflow. n8n أداة أتمتة سير عمل أقل كوداً وأنسب للتكاملات البسيطة والتنبيهات من تنسيق خطوط أنابيب بيانات ثقيلة. تبقى مزايا Airflow الأساسية نضجه وحضوره شبه العالمي في متطلبات وظائف هندسة البيانات وأكبر مكتبة تكاملات جاهزة بين المنسّقات.

متى لا تستخدمه

إذا كانت احتياجات الأتمتة لديك بضع مهام مجدولة بسيطة ومستقلة، فمهمة cron عادية أو مؤقّت systemd أقل عبئاً بكثير من تشغيل Airflow أصلاً. تجنّب وضع standalone تحديداً للأحمال الإنتاجية بمتطلبات موثوقية حقيقية — فهو يستخدم قاعدة بيانات مدمجة خفيفة وحاوية واحدة، ويجب معاملته كإعداد تعلّم/استخدام خفيف وليس شيئاً يُوسَّع لحركة إنتاجية جادة. إذا كان فريقك يفضّل تعريفات سير عمل بصيغة YAML على بايثون، أو يريد مراسم تنسيق أقل لجدولة سكريبتات بسيطة، فمن المرجح أن تبدو Kestra أو Windmill أقل عبئاً. للفرق التي تريد Airflow بجودة إنتاجية دون تشغيل البنية التحتية بنفسها، عرض مُدار مثل Astro من Astronomer يستحق النظر بدلاً من الاستضافة الذاتية على نطاق واسع.

هل تحتاج مساعدة احترافية؟

توفر PrismaTechWork خدمات بنية تحتية شاملة — من النشر الأولي وتصليب الأمان إلى المراقبة المستمرة والنسخ الاحتياطي التلقائي والدعم المخصص. سواء كنت تحتاج إعداد سيرفر واحد أو شبكة متعددة المواقع، يضمن فريقنا بناء بنيتك التحتية بشكل صحيح وتأمينها بالشكل المناسب وصيانتها باستمرار.

  • التثبيت وتجهيز السيرفر
  • الإعداد المتقدم وإعداد التوجيه
  • تصليب الأمان وتحسين جدار الحماية
  • إعداد شهادات SSL/TLS مع Let's Encrypt
  • ربط النطاق المخصص والوكيل العكسي
  • جدولة النسخ الاحتياطي التلقائي والتعافي من الكوارث
  • المراقبة الفورية وتنبيهات الجاهزية
  • الترحيل من المنصات القائمة
  • استكشاف مشكلات الاتصال والأداء وإصلاحها
  • سكريبتات أتمتة مخصصة وعقود دعم مستمر
تواصل مع PrismaTechWork

الأسئلة الشائعة

ما هو Apache Airflow؟

إنه المنصة المعيارية في الصناعة لتنسيق سير العمل، غالباً خطوط أنابيب البيانات. تُعرّف سير العمل كـ DAG بايثون — مهام باعتماديات — ويجدولها Airflow، ويُشغّلها بالترتيب، ويُعيد محاولة الفاشلة، ويُظهر كل شيء في واجهة ويب غنية بالسجلات وتاريخ التشغيل.

ما بيانات تسجيل الدخول؟

اسم المستخدم admin، وكلمة المرور تُولَّد عند أول تشغيل في وضع standalone وتُكتب في سجلات الحاوية. شغّل 'docker logs airflow' وابحث عن 'password' لإيجادها. ليست افتراضية ثابتة، لذا عليك استرجاعها من السجلات في المرة الأولى، ثم حفظها بأمان.

ما المنفذ الذي يستخدمه؟

المنفذ 8210 على المضيف، المُعيَّن من المنفذ الداخلي 8080 للحاوية. تصفّح إلى 8210؛ 8080 هو المنفذ داخل الحاوية. أبقه محجوباً، فـ Airflow يُنفّذ كود خط أنابيبك ويحمل بيانات اعتماد أي أنظمة تتصل بها خطوط أنابيبك.

هل يحتاج PostgreSQL وRedis؟

ليس في هذه النسخة. يعمل في وضع standalone الخاص بـ Airflow، وهو حاوية واحدة تستخدم قاعدة بيانات مدمجة — مثالية للتعلّم والاستخدام الخفيف. عمليات النشر الإنتاجية عادة تضيف PostgreSQL وCeleryExecutor أو KubernetesExecutor مع Redis للنطاق.

كيف يقارَن بـ Kestra أو Windmill؟

تُعرّف Kestra سير العمل بصيغة YAML بدلاً من بايثون وهي أخف تشغيلاً؛ يحوّل Windmill السكريبتات إلى سير عمل وتطبيقات داخلية بعبء تنسيق أقل. مزايا Airflow هي النضج والانتشار الواسع في هندسة البيانات وأكبر بيئة تكاملات.