Kafka接入到Graylog5.1

admin 2024年10月8日01:06:16评论14 views字数 1227阅读4分5秒阅读模式

Kafka接入到Graylog5.1

Kafka接入到Graylog5.1

(图片点击放大查看)

一、Kafka单节点部署

1、安装JDK+kafka

yum install -y  java-1.8.0-openjdk.x86_64  java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk-headless.x86_64
java -version

Kafka接入到Graylog5.1

Kafka接入到Graylog5.1

(图片点击放大查看)

Kafka接入到Graylog5.1

(图片点击放大查看)

tar -zvxf kafka_2.13-3.5.1.tgz -C /opt
cd /opt
mv kafka_2.13-3.5.1 kafka
echo "export KAFKA_HOME=/opt/kafka" >> /etc/profile
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile
source /etc/profile

2、启动kafka

zookeeper-server-start.sh  /opt/kafka/config/zookeeper.properties & 
kafka-server-start.sh  -daemon /opt/kafka/config/server.properties

Kafka接入到Graylog5.1

(图片点击放大查看)

如果有开启防火墙,需要放通2181 9092端口

firewall-cmd --permanent --zone=public --add-port=2181/tcp

firewall-cmd --permanent --zone=public --add-port=9092/tcp

firewall-cmd --reload

Kafka接入到Graylog5.1

(图片点击放大查看)

3、创建测试的topic并测试生产消费topic

kafka-console-producer.sh --topic security-events --bootstrap-server 192.168.31.222:9092
kafka-console-consumer.sh --topic security-events --from-beginning --bootstrap-server 192.168.31.222:9092

Kafka接入到Graylog5.1

(图片点击放大查看)

二、Kafka接入到Graylog

1、新建Raw/Plaintext Kafka类型的Input

填入Bootstrap Servers、Zookeeper的IP地址与端口、Topic的正则表达式 

Kafka接入到Graylog5.1

(图片点击放大查看)

Kafka接入到Graylog5.1

(图片点击放大查看)

Consumer group id根据实际情况填写

Kafka接入到Graylog5.1

(图片点击放大查看)

Kafka接入到Graylog5.1

(图片点击放大查看)

2、创建Stream用于单独获取Kafka Input的日志数据

Kafka接入到Graylog5.1

(图片点击放大查看)

Kafka接入到Graylog5.1

(图片点击放大查看)

3、最后的效果:查看Kafka接入的日志

Kafka接入到Graylog5.1

(图片点击放大查看)

Kafka接入到Graylog5.1

(图片点击放大查看)

原文始发于微信公众号(WalkingCloud):Kafka接入到Graylog5.1

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年10月8日01:06:16
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   Kafka接入到Graylog5.1http://cn-sec.com/archives/1948152.html

发表评论

匿名网友 填写信息