1
1
# Kafka 安装和配置
2
2
3
+
4
+ ## 对于版本
5
+
6
+ - 由于 Kafka 经常会被连接到各个地方去,所以对于 Kafka 的版本,一般不能用太新的,要看你用在什么地方。
7
+ - [ Flink 的要求] ( https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/connectors/kafka.html )
8
+ - [ Spark 的要求] ( https://spark.apache.org/docs/latest/streaming-kafka-integration.html )
9
+ - [ Spring 的要求] ( http://projects.spring.io/spring-kafka/ )
10
+
11
+
3
12
## 消息系统的好处
4
13
5
14
- 解耦(各个业务系统各自为政,有各自新需求,各自系统自行修改,只通过消息来通信)
@@ -360,14 +369,30 @@ wurstmeister/kafka:latest
360
369
- 如果 kafka1 输入的消息,kafka2 和 kafka3 能收到,则表示已经成功。
361
370
362
371
372
+ #### Kafka 认证配置
373
+
374
+ - 可以参考:[ Kafka的SASL/PLAIN认证配置说明] ( http://www.2bowl.info/kafka%e7%9a%84saslplain%e8%ae%a4%e8%af%81%e9%85%8d%e7%bd%ae%e8%af%b4%e6%98%8e/ )
375
+
376
+
377
+ #### Kafka 单纯监控 KafkaOffsetMonitor
378
+
379
+ - Github 官网:< https://github.com/quantifind/KafkaOffsetMonitor >
380
+ - README 带了下载地址和运行命令
381
+ - 只是已经很久不更新了
382
+
383
+ #### 部署 kafka-manager
384
+
385
+ - Github 官网:< https://github.com/yahoo/kafka-manager >
386
+ - 注意官网说明的版本支持
387
+ - 节点 1(没成功):` docker run -d --name=kafka-manager1 --restart=always -p 9000:9000 -e ZK_HOSTS="youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181" sheepkiller/kafka-manager:latest `
388
+ - 源码类安装可以看:[ Kafka监控工具—Kafka Manager] ( http://www.2bowl.info/kafka%e7%9b%91%e6%8e%a7%e5%b7%a5%e5%85%b7-kafka-manager/ )
389
+ - Kafka manager 是一款管理 + 监控的工具,比较重
363
390
364
- #### 部署 kafka-manager(未能访问成功)
365
391
366
- - 节点 1:` docker run -d --name=kafka-manager1 --restart=always -p 9000:9000 -e ZK_HOSTS="youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181" sheepkiller/kafka-manager:latest `
367
392
368
393
----------------------------------------------------------------------------------------------
369
394
370
- ## Kafka 1.0.1 源码安装(也支持 1.0.2)
395
+ ## Kafka 1.0.1 源码安装(也支持 1.0.2、0.11.0.3 )
371
396
372
397
- 测试环境:2G 内存足够
373
398
- 一台机子:CentOS 7.4,根据文章最开头,已经修改了 hosts
@@ -391,6 +416,8 @@ broker.id=1
391
416
listeners=PLAINTEXT://0.0.0.0:9092
392
417
# 向 Zookeeper 注册的地址。这里可以直接填写外网IP地址,但是不建议这样做,而是通过配置 hosts 的方式来设置。不然填写外网 IP 地址会导致所有流量都走外网(单节点多 broker 的情况下该参数必改)
393
418
advertised.listeners=PLAINTEXT://youmeekhost:9092
419
+ # zookeeper,存储了 broker 的元信息
420
+ zookeeper.connect=youmeekhost:2181
394
421
# 日志数据目录,可以通过逗号来指定多个目录(单节点多 broker 的情况下该参数必改)
395
422
log.dirs=/data/kafka/logs
396
423
# 创建新 topic 的时候默认 1 个分区。需要特别注意的是:已经创建好的 topic 的 partition 的个数只可以被增加,不能被减少。
@@ -405,8 +432,7 @@ auto.create.topics.enable=false
405
432
#log.flush.interval.ms=1000
406
433
# kafka 数据保留时间 默认 168 小时 == 7 天
407
434
log.retention.hours=168
408
- # zookeeper,存储了 broker 的元信息
409
- zookeeper.connect=youmeekhost:2181
435
+
410
436
411
437
# 其余都使用默认配置,但是顺便解释下:
412
438
# borker 进行网络处理的线程数
0 commit comments