今天同事接口任务,kafka开发 推流拉流的功能。

从腾讯物联网平台拉取数据到本地。

都2222年了,kafka我还没用过,是该反思下自己了。

今天先window 搭建下,然后学习下如果快速入门

1. 准备工作

JDK , Zookeeper , Kafka

jdk安装自行百度,zk安装也是自行百度

2. 解压和安装

首先下载kafka的安装包,官方的话要下载后缀是 .tgz的
image.png

解压到目录 D:\Tool\kafka_2.11-2.1.1

  1. 编辑文件Kafka配置文件, D:\Tool\kafka_2.11-2.1.1\config\server.properties
  2. 找到并编辑log.dirs=D:\Tool\kafka_2.11-2.1.1\kafka-log, (自定义文件夹)
  3. 找到并编辑zookeeper.connect=localhost:2181。表示本地运行(默认的可以不改)
  4. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。

启动和测试

注意:在启动Kafka前,先运行Zookeeper实例

①启动Kafka服务器

新建cmd窗口:

cd D:\Tool\kafka_2.11-2.1.1

.\bin\windows\kafka-server-start.bat .\config\server.properties

image.png

②创建主题

新建cmd窗口:

cd D:\Tool\kafka_2.11-2.1.1\bin\windows

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic haha

image.png

③创建生产者

新建cmd窗口:

cd D:\Tool\kafka_2.11-2.1.1\bin\windows

kafka-console-producer.bat --broker-list localhost:9092 --topic haha

④创建消费者

新建cmd窗口:

cd D:\Tool\kafka_2.11-2.1.1\bin\windows

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic haha--from-beginning

⑤生产消息并消费

image.png