程序员社区

Window中搭建Kafka环境

前提:kafka运行需要有JDK+Zookeeper环境才能够使用,JDK和Zookeeper的安装和配置就不介绍了

kafka

Github地址:https://github.com/apache/kafka
官方网站:https://kafka.apache.org/

官方文档:http://kafka.apache.org/documentation.html
LinkedIn用Scala语言开发。高吞吐量高性能支持跨语言分布式Publish/Subscribe消息队列系统,而Jafka是在Kafka之上孵化而来的。快速持久化、高吞吐、完全的分布式系统、支持Hadoop数据并行加载。

下载kafka

1.下载地址:http://kafka.apache.org/downloads.html
官方推荐使用2.11版本

Window中搭建Kafka环境插图
image.png

下载后解压缩
进入config目录,编辑 server.properties文件,
修改下kafka日志文件的路径

log.dirs=E:\\kafka\\kafka_2.11-2.0.1\\kafka-logs

这里是用于指定zookeeper的地址和端口号,可以根据实际情况做下修改

zookeeper.connect=localhost:2181

运行测试:

确保在启动Kafka服务器前,Zookeeper服务器已经正常运行
进入到kafka的根目录中,在cmd中输入
.\bin\windows\kafka-server-start.bat .\config\server.properties

如果出现报错:找不到或无法加载主类

解决方法
在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat%CLASSPATH%加上双引号

修改前:setCOMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp%CLASSPATH% %KAFKA_OPTS% %*
修改后:SetCOMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp"%CLASSPATH%"%KAFKA_OPTS% %*

正常启动如图

Window中搭建Kafka环境插图1
image.png

可能会遇到的问题

1.启动kafka报java.nio.file.FileSystemException

java.nio.file.FileSystemException: 
E:\Kafka\kafka_2.12-2.1.0\kafka-logs\__consumer_offsets-33\00000000000000000000.timeindex.cleaned -> 
E:\Kafka\kafka_2.12-2.1.0\kafka-logs\__consumer_offsets-33\00000000000000000000.timeindex.swap: 
另一个程序正在使用此文件,进程无法访问。
解决方法:

kafka在windows平台就是有这个BUG,只能手动删除\kafka-logs里的日志文件重启kafka

官方Issues:https://issues.apache.org/jira/browse/KAFKA-1194
赞(0) 打赏
未经允许不得转载:IDEA激活码 » Window中搭建Kafka环境

相关推荐

  • 暂无文章

一个分享Java & Python知识的社区