Apache Kafka vs Apache Pulsar徹底比較！ストリーミング基盤のアーキテクチャ選定基準

📖 推定読了時間：約6分

マイクロサービス間の非同期連携やリアルタイムビッグデータ分析基盤において、メッセージング・イベントストリーミングシステムの選定はシステム全体の拡張性を決定づけます。デファクトスタンダードとして君臨し続ける「Apache Kafka」に対し、次世代クラウドネイティブアーキテクチャを引っ提げて急速に採用を広げているのが「Apache Pulsar」です。両者の最大の違いは「コンピュート（処理）とストレージ（永続化）が密結合しているか、完全に分離されているか」にあります。

1. Kafkaの強みと限界：モノリシックブローカーとパーティション再配置の苦痛

Apache Kafkaは、各ブローカーがメッセージの送受信処理と、ローカルディスクへのパーティション書き込みを一体で行うアーキテクチャを採用しています。これによりOSのページキャッシュとZero-Copy転送を極限まで活用でき、単一クラスタで毎秒数百万イベントを極小レイテンシで処理する驚異的なスループットを実現しています。

しかし、クラスタの負荷が高まってブローカーノードを増設する際、「既存の数百GB〜数TBに及ぶパーティションデータを新ノードへコピーして再配置（Rebalance）する」という重厚なディスク・ネットワーク負荷が発生します。この再配置処理中にネットワークが圧迫され、本番トラフィックに遅延が生じる点が長年の運用課題でした。

高スループットなストリーミングコンシューマや並行処理ワーカーをGo言語で効率的に開発するなら、Go言語プログラミング実践入門・並行処理マスター書籍でゴルーチンとチャネルを用いた非同期キュー設計をマスターしておくことが極めて有効です。

KafkaとPulsarの主要スペック・構造比較表

2. Pulsarの革新：BookKeeperによる2層分離とクラウドネイティブ運用

Pulsarは、メッセージ処理を行うブローカーを「完全にステートレス」にし、データの永続化を専用の分散ログストレージ「Apache BookKeeper」に委譲しています。

メッセージは小さな「セグメント」単位でBookKeeperクラスタ全体にストライピングして書き込まれます。そのため、トラフィック急増時にPulsarブローカーを増設しても、あるいはディスク容量不足でBookKeeperノードを追加しても、「既存データのコピー移動（リバランス）が1バイトも発生しない」という圧倒的な運用優位性を誇ります。KubernetesのHPA（Horizontal Pod Autoscaler）との相性は抜群です。

コンテナクラスタや分散ミドルウェア全体のインフラ設計・監視を体系的に身につけるには、インフラ構築完全ガイドが実務に直結するベストなリファレンスとなります。

3. 選定の決め手：どちらを選ぶべきか？

プロジェクトの規模、要件、そしてチームの運用リソースによって最適な選択は明確に分かれます。

• ✅Kafkaが適しているケース：すでにKafkaのエコシステム（Flink、Kafka Connect、Schema Registry等）を活用している、または極めてシンプルなクラスタ構成で最高のスループットを叩き出したい場合。
• ⚠️Pulsarが適しているケース：1つの巨大クラスタを複数チームやテナントで相乗り利用したい（SaaS基盤）、トラフィックの変動が激しくオートスケールさせたい、過去ログをS3等の安価なストレージへ自動階層化したい場合。
• 👍ローカル検証時のストレージ確保：Docker Compose等でKafkaクラスタやPulsar＋BookKeeperの複合環境を立ち上げて負荷テストを行う際は、ホスト側のI/O負荷を逃がすために高速外付けSSD・ポータブルSSD（ストレージ拡張用）を作業領域として活用するとディスクボトルネックを解消できます。

まとめ

Apache Kafkaが長年築き上げてきた堅牢な実績と巨大なコミュニティは依然として強力無比です。しかし、Kubernetesを前提としたクラウドネイティブ基盤や、マルチテナントSaaSの構築においては、Apache Pulsarの「コンピュート・ストレージ完全分離」というアーキテクチャが極めて強力な解法となります。

単なるネームバリューにとらわれず、将来のクラスタ増設頻度やマルチテナンシー要件を吟味し、自社システムに最もフィットするデータストリーミング基盤を選定してください。