CentOS8部署ELK日志分析平台-创新互联
需求
1.开发人员不能登录线上服务器查看日志
成都创新互联-专业网站定制、快速模板网站建设、高性价比铁东网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式铁东网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖铁东地区。费用合理售后完善,十载实体公司更值得信赖。
2.各个系统都有日志,日志分散难以查找
3.日志数据量大,查找慢,数据不够实时
解决办法:部署ELK平台
ELK介绍
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash 。
ELK架构图
Elasticsearch简介:
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。
特点:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
部署Elasticsearch
1.配置yum源
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch #导入密钥
vim /etc/yum.repos.d/elasticsearch.repo #配置yum源
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
2.安装elasticsearch
yum install elasticsearch -y #安装elasticsearch
3.配置Elasticsearch
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: yltx #17行 集群名称
node.name: node1 #23行 节点名称
path.data: /data/es-data #33行工作目录
path.logs: /var/log/elasticsearch #37行日志目录
bootstrap.memory_lock: true #43行 防止交换swap分区
network.host: 0.0.0.0 #54行 监听网络
http.port: 9200 #58行 端口
mkdir -p /data/es-data
chown -R elasticsearch:elasticsearch /data/es-data/
4.内存解锁和文件限制
生产环境中必须要修改(注意)
vim /etc/security/limits.conf
末尾插入
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
* soft nofile 65535
* hard nofile 65535
systemctl start elasticsearch.service #启动服务
netstat -ntap | grep 9200
ps -ef |grep elasticsearch
网页测试:http://192.168.0.102:9200/
安装Elasticsearch – head插件
/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
网页访问:
http://192.168.0.102:9200/_plugin/head/
Logstash 介绍:
Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
logstash收集日志基本流程: input-->codec-->filter-->codec-->output
1.input:从哪里收集日志。
2.filter:发出去前进行过滤
3.output:输出至Elasticsearch或Redis消息队列
4.codec:输出至前台,方便边实践边测试
5.数据量不大日志按照月来进行收集
部署Logstash
1.配置yum源
vim /etc/yum.repos.d/logstash.repo
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
2.下载安装logstash
yum install logstash -y
测试logstash
logstash的基本语法
input {
指定输入
}output {
指定输出
}
1.测试标准输入输出
使用rubydebug方式前台输出展示以及测试
/opt/logstash/bin/logstash -e 'input { stdin {} } output { stdout { codec => rubydebug} }'
hello #输入hello测试
2.测试输出到文件
/opt/logstash/bin/logstash -e 'input { stdin {} } output { file { path => "/tmp/test-%{+YYYY.MM.dd}.log"} }'
cat /tmp/test-2020.02.17.log
3.开启日志压缩
/opt/logstash/bin/logstash -e 'input { stdin {} } output { file { path => "/tmp/test-%{+YYYY.MM.dd}.log.tar.gz" gzip => true } }'
ll /tmp/
4.测试输出到elasticsearch
/opt/logstash/bin/logstash -e 'input { stdin {} } output { elasticsearch { hosts => ["192.168.0.102:9200"] index => "logstash-test-%{+YYYY.MM.dd}" } }'
ll /data/es-data/yltx/nodes/0/indices
5.网页验证
Kibana 简介
Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
Kibana 部署
1.下载安装kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.0-linux-x86_64.tar.gz
tar zxvf kibana-7.6.0-linux-x86_64.tar.gz -C /opt/
mv /opt/kibana-7.6.0-linux-x86_64/ /usr/local/kibana
2.修改配置
vim /usr/local/kibana/config/kibana.yml
server.port: 5601 #2行 访问端口
server.host: "0.0.0.0" #5行 监听网络
elasticsearch.url: "http://192.168.0.102:9200" #12行 ES地址
kibana.index: ".kibana" #20行
3.启动服务
/usr/local/kibana/bin/kibana &
netstat -ntap |grep 5601 #查看端口号
4.网页验证:
http://192.168.0.102:5601/
测试 ELK平台
收集系统日志和收集java异常日志
1.修改logstash配置文件:
vim /root/file.conf
input {
file {
path => "/var/log/messages" #收集系统日志
type => "system"
start_position => "beginning"
}
file {
path => "/var/log/elasticsearch/yltx.log" #收集java异常日志
type => "es-error"
start_position => "beginning"
codec => multiline {
pattern => "^\["
negate => true
what => "previous"
}
}
}
output {
if [type] == "system" {
elasticsearch {
hosts => ["192.168.0.102:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
if [type] == "es-error" {
elasticsearch {
hosts => ["192.168.0.102:9200"]
index => "es-error-%{+YYYY.MM.dd}"
}
}
}
2.写入到elasticsearch中
/opt/logstash/bin/logstash -f /root/file.conf
3.查看Elasticsearch
4.查看Kibana
相关资料
ELK官网:https://www.elastic.co/cn/
中文指南:https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网页题目:CentOS8部署ELK日志分析平台-创新互联
当前路径:http://scyanting.com/article/peeid.html