使用Logstash收集MongoDB日志并通过Zabbix报警-创新互联
一 应用场景描述
成都创新互联公司成立十载来,这条路我们正越走越好,积累了技术与客户资源,形成了良好的口碑。为客户提供网站制作、做网站、网站策划、网页设计、国际域名空间、网络营销、VI设计、网站改版、漏洞修补等服务。网站是否美观、功能强大、用户体验好、性价比高、打开快等等,这些对于网站建设都非常重要,成都创新互联公司通过对建站技术性的掌握、对创意设计的研究为客户提供一站式互联网解决方案,携手广大客户,共同发展进步。在有些情况下,仅仅通过Zabbix去监控MongoDB的端口和各种状态还不够,MongoDB的日志监控也是很重要的。例如Mongos连接后端的Shard报SocketException错误等。
二 使用Logstash分析MongoDB日志
要记录慢查询首先需要开启慢查询记录功能
use jd05; db.setProfilingLevel(1,50) { "was" : 1, "slowms" : 50, "ok" : 1 }1表示只记录慢查询,慢于50毫秒的操作会被记录
如果写成2就会记录所有的操作,不建议在生产环境中使用,可以在开发环境中使用
db.setProfilingLevel(2)在MongoDB的日志文件中会记录如下操作信息:
Mon Apr 27 16:45:01.853 [conn282854698] command jd01.$cmd command: { count: "player", query: { request_time: { $gte: 1430123701 } } } ntoreturn:1 keyUpdates:0 numYields: 7 locks(micros) r:640822 reslen:48 340mslogstash配置文件shipper_mongodb.conf如下
input { file { path => "/data/app_data/mongodb/log/*.log" type => "mongodb" sincedb_path => "/dev/null" } } filter { if [type] == "mongodb" { grok { match => ["message","(?m)%{GREEDYDATA} \[conn%{NUMBER:mongoConnection}\] %{WORD:mongoCommand} %{WORD:mongoDatabase}.%{NOTSPACE:mongoCollection} %{WORD}: \{ %{GREEDYDATA:mongoStatement} \} %{GREEDYDATA} %{NUMBER:mongoElapsedTime:int}ms" ] add_tag => "mongodb" } grok { match => ["message"," cursorid:%{NUMBER:mongoCursorId}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," ntoreturn:%{NUMBER:mongoNumberToReturn:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," ntoskip:%{NUMBER:mongoNumberToSkip:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," nscanned:%{NUMBER:mongoNumberScanned:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," scanAndOrder:%{NUMBER:mongoScanAndOrder:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," idhack:%{NUMBER:mongoIdHack:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," nmoved:%{NUMBER:mongoNumberMoved:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," nupdated:%{NUMBER:mongoNumberUpdated:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," keyUpdates:%{NUMBER:mongoKeyUpdates:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," numYields: %{NUMBER:mongoNumYields:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," locks\(micros\) r:%{NUMBER:mongoReadLocks:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," locks\(micros\) w:%{NUMBER:mongoWriteLocks:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," nreturned:%{NUMBER:mongoNumberReturned:int}"] add_tag => "mongo_profiling_data" } grok { match => ["message"," reslen:%{NUMBER:mongoResultLength:int}"] add_tag => "mongo_profiling_data" } if "mongo_profiling_data" in [tags] { mutate { remove_tag => "_grokparsefailure" } } if "_grokparsefailure" in [tags] { grep { match => ["message","(Failed|error|SOCKET)"] add_tag => ["zabbix-sender"] add_field => [ "zabbix_host","%{host}", "zabbix_item","mongo.error" # "send_field","%{message}" ] } mutate { remove_tag => "_grokparsefailure" } } } } output { stdout { codec => "rubydebug" } zabbix { tags => "zabbix-sender" host => "zabbixserver" port => "10051" zabbix_sender => "/usr/local/zabbix/bin/zabbix_sender" } redis { host => "10.4.29.162" data_type => "list" key => "logstash" } }配置文件分为几步:
使用logstash的file插件从/data/app_data/mongodb/log/目录中读取mongodb的日志文件然后对日志内容进行解析
如果日志文件中有类似cursorid,nreturned等关键字的就截取添加标签mongo_profiling_data用于以后进行数据统计
对于其他日志就过滤关键字看是否含有错误信息,如果有就通过zabbix发送报警。
注意使用zabbix插件发送报警的时候需要先进行过滤关键字,然后要有zabbix_host,zabbix_item,zabbix_field三个字段,zabbix_item的值需要和zabbix监控页面配置的item相对应。zabbix_field如果没有指定,默认就是发送这个message字段
添加zabbix的模板
同理可以通过zabbix对PHP-FPM,Nginx,Redis,MySQL等发送报警
然后要做的就是根据不同的字段定义不同的图表
参考文档:
http://techblog.holidaycheck.com/profiling-mongodb-with-logstash-and-kibana/
http://tech.rhealitycheck.com/visualizing-mongodb-profiling-data-using-logstash-and-kibana/
http://www.logstash.net/docs/1.4.2/outputs/zabbix
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网站名称:使用Logstash收集MongoDB日志并通过Zabbix报警-创新互联
转载来于:http://scyanting.com/article/gcogd.html