Skip to content

Commit b802de1

Browse files
committed
🚧 kafka
1 parent f260924 commit b802de1

File tree

1 file changed

+31
-5
lines changed

1 file changed

+31
-5
lines changed

markdown-file/Kafka-Install-And-Settings.md

Lines changed: 31 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,14 @@
11
# Kafka 安装和配置
22

3+
4+
## 对于版本
5+
6+
- 由于 Kafka 经常会被连接到各个地方去,所以对于 Kafka 的版本,一般不能用太新的,要看你用在什么地方。
7+
- [Flink 的要求](https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/connectors/kafka.html)
8+
- [Spark 的要求](https://spark.apache.org/docs/latest/streaming-kafka-integration.html)
9+
- [Spring 的要求](http://projects.spring.io/spring-kafka/)
10+
11+
312
## 消息系统的好处
413

514
- 解耦(各个业务系统各自为政,有各自新需求,各自系统自行修改,只通过消息来通信)
@@ -360,14 +369,30 @@ wurstmeister/kafka:latest
360369
- 如果 kafka1 输入的消息,kafka2 和 kafka3 能收到,则表示已经成功。
361370

362371

372+
#### Kafka 认证配置
373+
374+
- 可以参考:[Kafka的SASL/PLAIN认证配置说明](http://www.2bowl.info/kafka%e7%9a%84saslplain%e8%ae%a4%e8%af%81%e9%85%8d%e7%bd%ae%e8%af%b4%e6%98%8e/)
375+
376+
377+
#### Kafka 单纯监控 KafkaOffsetMonitor
378+
379+
- Github 官网:<https://github.com/quantifind/KafkaOffsetMonitor>
380+
- README 带了下载地址和运行命令
381+
- 只是已经很久不更新了
382+
383+
#### 部署 kafka-manager
384+
385+
- Github 官网:<https://github.com/yahoo/kafka-manager>
386+
- 注意官网说明的版本支持
387+
- 节点 1(没成功):`docker run -d --name=kafka-manager1 --restart=always -p 9000:9000 -e ZK_HOSTS="youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181" sheepkiller/kafka-manager:latest`
388+
- 源码类安装可以看:[Kafka监控工具—Kafka Manager](http://www.2bowl.info/kafka%e7%9b%91%e6%8e%a7%e5%b7%a5%e5%85%b7-kafka-manager/)
389+
- Kafka manager 是一款管理 + 监控的工具,比较重
363390

364-
#### 部署 kafka-manager(未能访问成功)
365391

366-
- 节点 1:`docker run -d --name=kafka-manager1 --restart=always -p 9000:9000 -e ZK_HOSTS="youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181" sheepkiller/kafka-manager:latest`
367392

368393
----------------------------------------------------------------------------------------------
369394

370-
## Kafka 1.0.1 源码安装(也支持 1.0.2)
395+
## Kafka 1.0.1 源码安装(也支持 1.0.2、0.11.0.3
371396

372397
- 测试环境:2G 内存足够
373398
- 一台机子:CentOS 7.4,根据文章最开头,已经修改了 hosts
@@ -391,6 +416,8 @@ broker.id=1
391416
listeners=PLAINTEXT://0.0.0.0:9092
392417
# 向 Zookeeper 注册的地址。这里可以直接填写外网IP地址,但是不建议这样做,而是通过配置 hosts 的方式来设置。不然填写外网 IP 地址会导致所有流量都走外网(单节点多 broker 的情况下该参数必改)
393418
advertised.listeners=PLAINTEXT://youmeekhost:9092
419+
# zookeeper,存储了 broker 的元信息
420+
zookeeper.connect=youmeekhost:2181
394421
# 日志数据目录,可以通过逗号来指定多个目录(单节点多 broker 的情况下该参数必改)
395422
log.dirs=/data/kafka/logs
396423
# 创建新 topic 的时候默认 1 个分区。需要特别注意的是:已经创建好的 topic 的 partition 的个数只可以被增加,不能被减少。
@@ -405,8 +432,7 @@ auto.create.topics.enable=false
405432
#log.flush.interval.ms=1000
406433
# kafka 数据保留时间 默认 168 小时 == 7 天
407434
log.retention.hours=168
408-
# zookeeper,存储了 broker 的元信息
409-
zookeeper.connect=youmeekhost:2181
435+
410436
411437
# 其余都使用默认配置,但是顺便解释下:
412438
# borker 进行网络处理的线程数

0 commit comments

Comments
 (0)