Что такое Apache Airflow
Python
Middle
Positive Technologies
Что такое Apache Airflow
Ответы
Apache Airflow — это платформа для оркестрации и планирования задач, написанная на Python. Позволяет создавать, мониторить и управлять сложными workflows (DAG — Directed Acyclic Graph) с помощью кода.
**Ключевые особенности:**
- **DAG** — граф задач без циклов, где зависимости определяются явно.
- **Операторы** (`BashOperator`, `PythonOperator` и др.) — шаблоны для выполнения задач.
- **Scheduler** — автоматический запуск задач по расписанию.
- **Web UI** — визуализация и управление workflows.
**Пример DAG:**
```
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime
def hello_world():
print("Hello, Airflow!")
with DAG(
dag_id="example_dag",
start_date=datetime(2023, 1, 1),
schedule_interval="@daily"
) as dag:
task = PythonOperator(
task_id="print_hello",
python_callable=hello_world
)
```
**Используется для:** ETL, ML pipelines, автоматизации отчетов и других сложных процессов.