Kafka 是一個分散式的訊息處理平台(message processing platform),仲介處理端到端的實時訊息傳輸。

Kafka 特點

  • 分散式
  • 可以自由調整 C/A/P
  • 減少網路封包的 Overhead: 使用優化過的 binary TCP-based protocol,多條訊息會先寫入記憶體緩衝中存成 Batch 一同傳輸,
  • 輕量級可壓縮: 避免對訊息的物件包覆,以檔案的型式來處理資料
  • 使用 OS 的 page cache,不需要額外 Applicaion Cache ,爭取珍貴的記憶體空間

Kafka 優點

  • Reliability
  • Scalability
  • Durability
  • Performance
  • Fault Tolerance
  • Zero downtime

Notes

  1. Kafka support exactly-once at 0.11.x
  2. Kafka remove zookeeper dependency at 2.8.0
  3. Latest Release