Debian系统下怎样轻松配置Kafka

在Debian系统中快速搭建Kafka服务，本文提供一套经过验证的高效配置方案，助您轻松实现单节点部署。

一 单节点极简部署步骤

1. 安装依赖并准备目录
   1. 安装 OpenJDK 11：sudo apt update && sudo apt install -y openjdk-11-jdk
   2. 创建专用用户与目录：sudo useradd -r -m -d /opt/kafka -s /sbin/nologin kafka；sudo mkdir -p /data/kafka/logs；sudo chown -R kafka:kafka /opt/kafka /data/kafka
2. 下载并解压 Kafka（示例版本：3.6.1）
   1. wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
   2. tar -xzf kafka_2.13-3.6.1.tgz -C /opt/ && mv /opt/kafka_2.13-3.6.1 /opt/kafka
3. 配置环境变量
   1. echo ‘export KAFKA_HOME=/opt/kafka’ | sudo tee -a /etc/profile
   2. echo ‘export PATH=$PATH:$KAFKA_HOME/bin’ | sudo tee -a /etc/profile
   3. source /etc/profile
4. systemd服务（Kraft模式，免Zookeeper）
   1. 生成集群ID：KAFKA_CLUSTER_ID=$(/opt/kafka/bin/kafka-storage.sh random-uuid)
   2. 格式化存储：/opt/kafka/bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c /opt/kafka/config/kraft/server.properties
   3. 创建服务文件 /etc/systemd/system/kafka.service（见下文"最小配置清单"），然后：
      1. sudo systemctl daemon-reload && sudo systemctl enable --now kafka
5. 快速自检
   1. 查看状态：systemctl status kafka
   2. 列出Topic：/opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
   3. 创建测试Topic：/opt/kafka/bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092
   4. 简单生产消费验证：/opt/kafka/bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test 与 /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

二 最小配置清单

1. server.properties（Kraft，单节点最简可用）
   1. process.roles=broker,controller
   2. node.id=1
   3. controller.quorum.voters=1@localhost:9093
   4. listeners=PLAINTEXT://:9092,CONTROLLER://:9093
   5. listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
   6. inter.broker.listener.name=PLAINTEXT
   7. advertised.listeners=PLAINTEXT://你的服务器IP:9092
   8. log.dirs=/data/kafka/logs
   9. num.partitions=1
   10. default.replication.factor=1
   11. min.insync.replicas=1
   12. unclean.leader.election.enable=false
2. kafka.service（systemd）
   1. [Unit]
      1. Description=Apache Kafka Server
      2. After=network.target
   2. [Service]
      1. Type=simple
      2. User=kafka
      3. Group=kafka
      4. ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
      5. ExecStop=/opt/kafka/bin/kafka-server-stop.sh
      6. Restart=on-failure
   3. [Install]
      1. WantedBy=multi-user.target
3. 如需使用传统Zookeeper模式（不推荐，仅作兼容）
   1. server.properties 中设置：zookeeper.connect=localhost:2181
   2. systemd 服务单元 After=network.target zookeeper.service

三 常用简化命令脚本

1. 一键启动/停止/重启
   1. sudo systemctl start|stop|restart kafka
2. 创建Topic（开发环境）
   1. /opt/kafka/bin/kafka-topics.sh --create --topic demo --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092
3. 查看与自检
   1. /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
   2. /opt/kafka/bin/kafka-topics.sh --describe --topic demo --bootstrap-server localhost:9092
   3. /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group your-group
4. 日志查看
   1. journalctl -u kafka -f
   2. tail -f /opt/kafka/logs/server.log

四 安全与网络简化建议

1. 仅内网使用时，保持 PLAINTEXT，将 advertised.listeners 设为内网 IP:9092，避免误用公网地址
2. 需要加密与认证时，再启用 SASL/SSL（按需逐步开启，避免一次性引入过多参数）
   1. 示例（SASL/PLAIN，server.properties 片段）：
      1. security.protocol=SASL_PLAINTEXT
      2. sasl.mechanism=PLAIN
      3. sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret";
   2. 示例（SSL，server.properties 片段）：
      1. security.protocol=SSL
      2. ssl.keystore.location=/path/to/keystore.jks
      3. ssl.truststore.location=/path/to/truststore.jks
3. 防火墙仅放行 9092（Kraft）与（若使用）2181（Zookeeper）

五 常见问题快速排查

1. 远程连不上：确认 advertised.listeners 为服务器真实 IP 而非 localhost；云主机需放通安全组 9092
2. 启动失败：检查 log.dirs 目录权限（属主 kafka:kafka）、端口是否被占用（ss -ltnp | grep 9092）
3. 分区不足导致并行度不够：开发/测试可适当提高 num.partitions（如设为 3 或 6）
4. 需要更可靠：在创建Topic时将 replication-factor≥3、min.insync.replicas=2，并开启 acks=all（生产环境推荐）

通过以上步骤与配置，您已掌握在Debian系统快速部署Kafka的关键方法，这套方案兼顾效率与稳定性，特别适合开发测试环境使用。