Что такое pool Airflow
Python
Middle
Без компании
Что такое pool Airflow
Ответы
В Airflow пул (Pool) — это механизм ограничения параллельного выполнения задач. Он позволяет контролировать нагрузку на ресурсы, ограничивая количество одновременно выполняемых задач в определенной группе.
Ключевые особенности:
- Каждому пулу можно задать максимальное количество слотов (slots)
- Задачи могут быть назначены в конкретный пул
- По умолчанию все задачи используют пул `default_pool` (128 слотов)
Пример создания пула через UI/CLI или код:
```
from airflow.models import Pool
Pool.create_or_update_pool(
name='my_pool',
slots=5,
description='Limited pool for critical tasks'
)
```
Использование в операторе:
```
MyOperator(
task_id='task_in_pool',
pool='my_pool',
# другие параметры...
)
```
Полезно для:
- Ограничения нагрузки на внешние API/сервисы
- Контроля ресурсоемких задач
- Приоритизации выполнения критически важных задач