Расскажи про опыт работы с Kafka

Python Middle Aston
Расскажи про опыт работы с Kafka
Ответы
Да, работал с Kafka. Использовал библиотеку `confluent-kafka` для Python. Основные задачи: создание продюсеров и консьюмеров, настройка партиционирования, обработка ошибок и управление офсетами. Пример простого продюсера: ``` from confluent_kafka import Producer conf = {'bootstrap.servers': 'localhost:9092'} producer = Producer(conf) def delivery_report(err, msg): if err: print(f'Message delivery failed: {err}') else: print(f'Message delivered to {msg.topic()} [{msg.partition()}]') producer.produce('my_topic', key='key', value='message', callback=delivery_report) producer.flush() ``` Пример консьюмера: ``` from confluent_kafka import Consumer conf = { 'bootstrap.servers': 'localhost:9092', 'group.id': 'my_group', 'auto.offset.reset': 'earliest' } consumer = Consumer(conf) consumer.subscribe(['my_topic']) while True: msg = consumer.poll(1.0) if msg is None: continue if msg.error(): print(f"Consumer error: {msg.error()}") continue print(f"Received message: {msg.value().decode('utf-8')}") ``` Также работал с Kafka Connect для интеграции с другими системами и настраивал репликацию топиков.