На практике работал с различными объемами данных – от небольших CSV (несколько МБ) до датасетов в несколько ГБ в форматах CSV, JSON, Parquet. Для обработки использовал: - **Pandas** – оптимален для данных, помещающихся в оперативную память (до 10-15 ГБ на сервере с 32+ ГБ RAM) - **Dask** – для распределенной обработки больших датасетов (50+ ГБ) - **PySpark** – в кластерных средах (100+ ГБ) Пример обработки большого CSV с помощью Pandas с оптимизацией: ``` import pandas as pd # Чтение с указанием типов для экономии памяти dtypes = {'user_id': 'int32', 'price': 'float32'} df = pd.read_csv('large_data.csv', dtype=dtypes, chunksize=100000) for chunk in df: # Постепенная обработка process_chunk(chunk) ``` Ключевые моменты: - Оптимизация типов данных (category, int32 вместо int64) - Использование итеративной обработки (chunksize) - Выбор подходящего инструмента под объем данных