Apache Kafka — распределенная система обмена сообщениями между серверными приложениями в режиме реального времени. Обладает высокой пропускной способностью, масштабируемостью и надежностью. На платформе BAUM AI Kafka используется для связи сервисов, а также для ведения журналов событий. Kafka служит для обработки данных в режиме реального времени.
В Apache Kafka потоки сообщений группируются по категориями, так получаются топики. Для платформы ALLY Tech AI каждый сервис представляет собой отдельный топик. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Раздел — это последовательность сообщений топика, которые упорядочены в порядке их поступления.
Брокер выполняет следующие функции:
- Прием подключений от клиентов.
- Предоставление клиентам информации о топиках, разделах и других брокерах в кластере.
- Прием запросов на чтение и запись сообщений от клиентов.
- Хранение сообщений.
- Участие в репликации разделов.
Apache Kafka использует бинарный формат для хранения и передачи сообщений. В сообщениях нет никакой информации об их структуре. Поэтому для интерпретации данных в бинарном формате потребителю нужно воспользоваться схемой формата данных (format schema). Она описывает формат ввода или вывода данных.