kafka常用命令

[TOC]

# 创建topic
```
./kafka-topics.sh --create --zookeeper 0.0.0.0:2181 --replication-factor 1 --partitions 1 --topic my-topic
```

# 删除topic
```
./kafka-topics.sh --zookeeper 0.0.0.0:2181 --delete --topic my-topic
```
# 查看所有tpoic
```
./kafka-topics.sh --list --zookeeper 0.0.0.0:2181
```
# 列出所有主题中的所有用户组
```
./kafka-consumer-groups.sh --bootstrap-server 0.0.0.0:9092 --list
```
# -members: 此选项提供使用者组中所有活动成员的列表
```
./kafka-consumer-groups.sh --bootstrap-server 0.0.0.0:9092 --describe --group group1 --members
```
# 查看topic消费进度，必须参数为--group，不指定--topic，默认为所有topic
```
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group group1
```

# 查询指定的组各topic消息消费情况
```
./kafka-consumer-groups.sh --bootstrap-server 0.0.0.0:9092 --describe --group group1
```
# 查询指定topic消费详情
```
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe  --topic aurayouDataproductCache
```
# 查看所有topic消费情况
```
for i in \`./kafka-consumer-groups.sh --bootstrap-server 0.0.0.0:9092 --list\`; do echo \$i && ./kafka-consumer-groups.sh --bootstrap-server 0.0.0.0:9092 --describe --group $i;done
```

# 清理topic中的数据
本方法不是直接删除topic的方式

## 修改topic保留时间为1s
>注意：修改保留时间为10秒钟，并不是10秒钟就马上删掉。kafka是采用轮询的方式，轮询到这个topic时,删除10秒钟前的数据。
时间由server.properties里面的log.retention.check.interval.ms选项为主
参考：https://www.cnblogs.com/xiao987334176/p/10335054.html

假设说 log.retention.check.interval.ms 值为1分钟，那么等待70秒，这个topic的数据就会自动被删除！

```
./kafka-configs.sh --zookeeper 0.0.0.0:2181 --entity-type topics --entity-name test --alter --add-config retention.ms=10000
```
# 查看topic配置
```
./kafka-configs.sh --zookeeper 0.0.0.0:2181 --describe --entity-type topics --entity-name test
```
# 删除topic配置
```
./kafka-configs.sh --zookeeper 0.0.0.0:2181 --entity-type topics --entity-name test --alter --delete-config retention.ms
```
# 测试生产消息
```
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
```
# 测试消费消息
```
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
```

# 参考
https://segmentfault.com/a/1190000021586525
https://www.cnblogs.com/gaojian/p/7675717.html

导航

最近发表

友情链接