Filebeat从入门到实战-创新互联

文章目录
  • Filebeat的概念
    • 简介
    • Filebeat特点
    • Filebeat与Logstash对比
  • Filebeat安装
    • 安装地址
    • Logstash部署安装
  • Filebeat实战
    • 对接Logstash
    • Filebeat模块使用(配置Kafka)
    • 对接ES案例展示
    • 对接Kafka案例展示
  • 总结

创新互联建站专注为客户提供全方位的互联网综合服务,包含不限于做网站、网站建设、晋宁网络推广、重庆小程序开发、晋宁网络营销、晋宁企业策划、晋宁品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们大的嘉奖;创新互联建站为所有大学生创业者提供晋宁建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.comFilebeat的概念 简介

Filebeat是一种轻量型日志采集器,内置有多种模块(auditd、Apache、NGINX、System、MySQL 等等),可针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点,是因为它将自动默认路径(因操作系统而异)与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此,数个 Filebeat 模块还包括预配置的 Machine Learning 任务。另一点需要声明的是:根据采集的数据形式不同,形成了由多个模块组成的Beats。Beats是开源数据传输程序集,可以将其作为代理安装在服务器上,将操作数据发送给Elasticsearch,或者通过Logstash,在Kibana中可视化数据之前,在Logstash中进一步处理和增强数据。
Beats组成模块如下:

日志格式采集所需组件框架
Audit dataAuditbeat(轻量型审计日志采集器)
Log filesFilebeat(轻量型日志采集器)
AvailabilityHeartbeat(轻量型运行时间监控采集器)
MetricsMetricbeat(轻量型指标采集器)
Network trafficPacketbeat(轻量型网络数据采集器)
Windows event logsWinlogbeat(轻量型 Windows 事件日志采集器)

Beat日志采集流程图:

在这里插入图片描述

Filebeat特点

1)轻量型日志采集器,占用资源更少,对机器配置要求极低。
2)操作简便,可将采集到的日志信息直接发送到ES集群、Logstash、Kafka集群等消息队列中。
3)异常中断重启后会继续上次停止的位置。(通过${filebeat_home}\data\registry文件来记录日志的偏移量)。
4)使用压力敏感协议(backpressure-sensitive)来传输数据,在logstash 忙的时候,Filebeat 会减慢读取-传输速度,一旦 logstash 恢复,则 Filebeat 恢复原来的速度。
5)Filebeat带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命令来简化通用日志格式的收集,解析和可视化。

bin/logstash -e 'input { stdin{} } output { stdout{} }'
Filebeat与Logstash对比

1)Filebeat是轻量级数据托运者,您可以在服务器上将其作为代理安装,以将特定类型的操作数据发送到Elasticsearch。与Logstash相比,其占用空间小,使用的系统资源更少。
2)Logstash具有更大的占用空间,但提供了大量的输入,过滤和输出插件,用于收集,丰富和转换来自各种来源的数据。
3)Logstash是使用Java编写,插件是使用jruby编写,对机器的资源要求会比较高。在采集日志方面,对CPU、内存上都要比Filebeat高很多。

Filebeat安装

Filebeat本身对机器性能要求不高,所以对机器性能无需过多关注。加之,其采集数据后采用的Http请求发送的数据,所以对运行环境也无过多要求,因此在部署Filebeat时,应过多的关注其它组件的部署问题。

安装地址

1)Filebeat官网地址:https://www.elastic.co/cn/products/beats/filebeat
2)安装包下载地址:https://www.elastic.co/cn/downloads/beats/filebeat

在这里插入图片描述

笔者这里用的是8.5.2版本,包括ES,Kibana,Logstash框架等。一律使用的均是8.5.2版本

在这里笔者为了节省主节点资源,不将组件放到主节点了,放到次节点上

[root@hadoop103 ~]# cd /opt/software/
[root@hadoop103 software]# mkdir elk
[root@hadoop103 software]# cd elk/

#将组件放入该目录中

在这里插入图片描述

[root@hadoop103 elk]# tar -zxvf filebeat-8.5.2-linux-x86_64.tar.gz -C /opt/module/

[root@hadoop103 elk]# cd /opt/module/

[root@hadoop103 module]# mv filebeat-8.5.2-linux-x86_64/ filebeat

进入filebeat,指定监控日志的输入输出路径

[root@hadoop103 module]# mkdir log
[root@hadoop103 module]# cd filebeat/
[root@hadoop103 filebeat]# vim filebeat.yml

对图片内容进行修改

在这里插入图片描述

Logstash部署安装
[root@hadoop103 elk]# tar -zxvf logstash-8.5.2-linux-x86_64.tar.gz -C /opt/module/

[root@hadoop103 module]# mv logstash-8.5.2/ logstash

注意:logstash在使用的时候单独配置运行文件。

Filebeat实战 对接Logstash

1)创建文件夹加job编写数据采集文件:filebeat_to_logstash.conf文件

[root@hadoop103 logstash]$ mkdir job
[root@hadoop103 logstash]$ cd job/
[root@hadoop103 job]$ vim filebeat_to_logstash.conf

# 添加内容如下
input {#对接的是beats
  beats {#端口号5044
    port=>5044
    #编码格式GBK
    codec=>plain{charset=>"GBK"
    }
  }
}
filter {mutate{split=>["message","|"]
                add_field =>{"field1" =>"%{[message][0]}"
                }
                add_field =>{"field2" =>"%{[message][1]}"
                }
                remove_field =>["message"]
        }
        json{source =>"field1"
                target =>"field2"
        }
}
#输出数据到控制台
output{   stdout{   codec=>rubydebug
      }
}

配置filebeat中的output部分(Logstash)

[root@hadoop103 filebeat]# vim filebeat.yml

在这里插入图片描述

启动filebeat 与 logstash

[root@hadoop103 filebeat]$ ./filebeat -e
[root@hadoop103 logstash]$ bin/logstash -f job/filebeat_to_logstash.conf

进入log目录,创建日志文件,并导入如下数据:

[root@hadoop103 logstash]$ cd /opt/module/log
[root@hadoop103 log]$ vim app.log
1562065564549|{"cm":{"ln":"-54.7","sv":"V2.9.8","os":"8.1.0","g":"9NY0AL0L@gmail.com","mid":"m140","nw":"WIFI","l":"pt","vc":"13","hw":"1080*1920","ar":"MX","uid":"u737","t":"1562030978430","la":"-7.4","md":"HTC-14","vn":"1.1.3","ba":"HTC","sr":"M"},"ap":"gmall","et":[{"ett":"1561996979060","en":"display","kv":{"newsid":"n925","action":"1","extend1":"1","place":"4","category":"37"}},{"ett":"1562031053551","en":"newsdetail","kv":{"entry":"3","newsid":"n332","news_staytime":"10","loading_time":"8","action":"4","showtype":"3","category":"11","type1":"433"}},{"ett":"1561986545246","en":"loading","kv":{"extend2":"","loading_time":"7","action":"1","extend1":"","type":"1","type1":"102","loading_way":"1"}},{"ett":"1562053433842","en":"active_foreground","kv":{"access":"1","push_id":"1"}},{"ett":"1562030443443","en":"favorites","kv":{"course_id":2,"id":0,"add_time":"1562049124751","userid":0}}]}

查看结果

Logstash控制台结果如下:

在这里插入图片描述

Filebeat模块使用(配置Kafka)

1)官方提供了封装完整的框架日志监控,拿kafka为例,使用对应的module可以直接实现对kafka日志的监控

2)修改Filebeat配置文件filebeat.yml

[root@hadoop103 filebeat]$ vim filebeat.yml

按照图片方式设置好

在这里插入图片描述
进入modules.d 目录

[root@hadoop103 filebeat]$ cd modules.d

后缀disabled均为不可用状态。

在这里插入图片描述

3)修改kafka对应的module配置文件

[root@hadoop103 modules.d]# cp kafka.yml.disabled kafka.yml
[root@hadoop103 modules.d]# vim kafka.yml

https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-module-kafka.html

在这里插入图片描述

配置文件直接从官方文档获取即可。

注意,官网的path/to是kafka的路径,具体路径要看自己的服务器上kafka的路径。记得修改!

在这里插入图片描述

对接ES案例展示

安装ES:https://blog.csdn.net/weixin_45417821/article/details/117389204

这里安装单机版ES即可,只为测试专用

chown -R luanhao:luanhao /opt/module/es

除了单机配置之外,还需要再加入一个配置文件

ingest.geoip.downloader.enabled: false

#并将xpack.security.enabled设置为false,原因:是因为ES8默认开启了 ssl 认证。
xpack.security.enabled: false

官网:https://www.elastic.co/guide/en/beats/filebeat/current/elasticsearch-output.html

在这里插入图片描述

1)修改Filebeat配置文件

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["hadoop103:9200"]
  #通过判断数据中包含的字符串 可以分流数据
  #  #通过语法%{}可以调用元数据信息和特殊信息
  #  #error-8.5.2-2022-12-02
  indices:
    - index: "warning"
      when.contains:
        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "ERR"
    - index: "info"
      when.contains:
        message: "INFO"

清一色的error日志

在这里插入图片描述

对接Kafka案例展示

Filebeat也可以直接将数据发送到Kafka

官网相关文档如下:https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html

在这里插入图片描述

1)修改Filebeat配置文件

[root@hadoop103 filebeat]$ vim filebeat.yml

添加如下内容

在这里插入图片描述
简单些就行

启动zk和kafka,安装目录:https://blog.csdn.net/weixin_45417821/article/details/

[root@hadoop104 ~]# kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic logs

之后拷贝一份log文件进去即可

[root@hadoop103 log]# cd /opt/module/log
[root@hadoop103 log]# cp app.log appbak.log

查看kafka消费者内容

在这里插入图片描述

总结

对于大数据从业者人员来讲,我们只需要关注,日志文件 ->Filebeat ->Kafka 这样的工程,其他的均可交给Spark ,Flink等计算框架计算即可。

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


分享文章:Filebeat从入门到实战-创新互联
标题路径:http://scyanting.com/article/deigop.html