今天同事接口任务,kafka开发 推流拉流的功能。
从腾讯物联网平台拉取数据到本地。
都2222年了,kafka我还没用过,是该反思下自己了。
今天先window 搭建下,然后学习下如果快速入门
1. 准备工作
JDK , Zookeeper , Kafka
jdk安装自行百度,zk安装也是自行百度
2. 解压和安装
首先下载kafka的安装包,官方的话要下载后缀是 .tgz的
解压到目录 D:\Tool\kafka_2.11-2.1.1
- 编辑文件Kafka配置文件, D:\Tool\kafka_2.11-2.1.1\config\server.properties
- 找到并编辑log.dirs=D:\Tool\kafka_2.11-2.1.1\kafka-log, (自定义文件夹)
- 找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
- Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。
启动和测试
注意:在启动Kafka前,先运行Zookeeper实例
①启动Kafka服务器
新建cmd窗口:
cd D:\Tool\kafka_2.11-2.1.1
.\bin\windows\kafka-server-start.bat .\config\server.properties
②创建主题
新建cmd窗口:
cd D:\Tool\kafka_2.11-2.1.1\bin\windows
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic haha
③创建生产者
新建cmd窗口:
cd D:\Tool\kafka_2.11-2.1.1\bin\windows
kafka-console-producer.bat --broker-list localhost:9092 --topic haha
④创建消费者
新建cmd窗口:
cd D:\Tool\kafka_2.11-2.1.1\bin\windows
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic haha--from-beginning
⑤生产消息并消费