Какие использовал ETL-инструменты
Python
Middle
Без компании
Какие использовал ETL-инструменты
Ответы
В Python для ETL часто используют:
- **Pandas** – для обработки данных в памяти. Пример:
```
import pandas as pd
data = pd.read_csv('source.csv')
transformed = data.groupby('category').sum()
transformed.to_sql('results', engine, if_exists='replace')
```
- **Apache Airflow** – оркестрация сложных пайплайнов.
- **SQLAlchemy** – работа с БД (извлечение/загрузка).
- **PySpark** – для больших данных (распределённая обработка).
- **Bonobo** – лёгкий фреймворк для простых ETL-задач.
Для облачных решений: AWS Glue, Google Dataflow. Выбор зависит от масштаба данных и требований к производительности.