docker compose 安装 kafka

使用 Docker Compose 安装 Kafka

Kafka 是一个分布式的流处理平台，通常用于构建实时数据管道和流应用。使用 Docker Compose 可以快速、轻松地搭建一个包含 Kafka 和 Zookeeper 的环境。本文将详细介绍如何使用 Docker Compose 安装 Kafka。

一、准备环境

1. 安装 Docker：确保已安装 Docker。可以通过以下命令检查 Docker 是否已安装：

   docker --version
   ​
   

2. 安装 Docker Compose：确保已安装 Docker Compose。可以通过以下命令检查 Docker Compose 是否已安装：

   docker-compose --version
   ​
   

二、编写 Docker Compose 文件

创建一个目录来存放 Docker Compose 文件，例如 kafka-docker：

mkdir kafka-docker
cd kafka-docker
​

在该目录下创建一个名为 docker-compose.yml 的文件，并添加以下内容：

version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper:3.4.6
    ports:
      - "2181:2181"

  kafka:
    image: wurstmeister/kafka:2.13-2.7.0
    ports:
      - "9092:9092"
    environment:
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
​

三、启动 Kafka 和 Zookeeper

在 docker-compose.yml 文件所在的目录中，运行以下命令来启动 Kafka 和 Zookeeper：

docker-compose up -d
​

该命令会在后台启动 Kafka 和 Zookeeper。可以使用以下命令查看容器的运行状态：

docker-compose ps
​

四、验证安装

1. 安装 Kafka 客户端：

   可以通过以下命令进入 Kafka 容器：

   docker-compose exec kafka /bin/sh
   ​
   

2. 创建一个主题：

   进入 Kafka 容器后，使用以下命令创建一个名为 test-topic 的主题：

   kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1
   ​
   

3. 列出主题：

   使用以下命令查看所有主题：

   kafka-topics.sh --list --bootstrap-server localhost:9092
   ​
   

   如果成功创建了 test-topic，它将出现在输出列表中。

4. 生产者测试：

   使用以下命令启动一个生产者，并向 test-topic 发送消息：

   kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
   ​
   

   然后输入一些消息并按回车键，每行输入的消息都会发送到 Kafka。

5. 消费者测试：

   使用以下命令启动一个消费者，并从 test-topic 接收消息：

   kafka-console-consumer.sh --topic test-topic --bootstrap-server localhost:9092 --from-beginning
   ​
   

   如果消费者能够收到生产者发送的消息，则说明 Kafka 安装和配置成功。

五、常见问题及解决方法

1. 端口冲突：确保 2181（Zookeeper）和 9092（Kafka）端口未被其他应用占用。
2. 容器启动失败：检查 Docker 和 Docker Compose 的版本，确保它们是最新版本。
3. Kafka 无法连接 Zookeeper：确保 KAFKA_ZOOKEEPER_CONNECT 环境变量正确配置。

六、总结

通过本文的步骤，您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理，方便快速搭建和测试分布式系统。