如何在 Go 语言中用 Beats 开发 Logstash 插件

配置环境

创新互联建站专注于网站建设|网页维护|优化|托管以及网络推广，积累了大量的网站设计与制作经验，为许多企业提供了网站定制设计服务，案例作品覆盖酒店设计等行业。能根据企业所处的行业与销售的产品，结合品牌形象的塑造，量身策划品质网站。

在OSX系统上很容易安装GO的可执行文件:

brew install go

虽然Java或Ruby (或者任何我知道的语言) 可以在本地文件系统的任何地方使用命令,，但是Go项目必须使用单一专用的地址,，并且在$GOPATH环境变量下可用。

第 1 段（可获 1.54 积分）

R e; 7个月前 

创建项目对于Logstash插件，Beats项目可以从模板创建。官方文档的说明十分简单。鉴于Go对文件系统上的位置的严格要求，只需按照以下说明生成一个新的即可使用的Go项目。默认模板代码将在控制台中重复发送带增量计数器的事件：./redditbeat -e -d "*"

2016/12/13 22:55:56.013362 beat.go:267: INFO

Home path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat]

Config path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat]

Data path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/data]

Logs path: [/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/logs]

2016/12/13 22:55:56.013390 beat.go:177: INFO Setup Beat: redditbeat; Version: 6.0.0-alpha1

2016/12/13 22:55:56.013402 processor.go:43: DBG  Processors: 

2016/12/13 22:55:56.013413 beat.go:183: DBG  Initializing output plugins

2016/12/13 22:55:56.013417 logp.go:219: INFO Metrics logging every 30s

2016/12/13 22:55:56.013518 output.go:167: INFO Loading template enabled. Reading template file:

/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/redditbeat.template.json

2016/12/13 22:55:56.013888 output.go:178: INFO Loading template enabled for Elasticsearch 2.x. Reading template file:

/Users/i303869/projects/private/go/src/github.com/nfrankel/redditbeat/redditbeat.template-es2x.json

2016/12/13 22:55:56.014229 client.go:120: INFO Elasticsearch url: 

2016/12/13 22:55:56.014272 outputs.go:106: INFO Activated elasticsearch as output plugin.

2016/12/13 22:55:56.014279 publish.go:234: DBG  Create output worker

2016/12/13 22:55:56.014312 publish.go:276: DBG  No output is defined to store the topology.

The server fields might not be filled.

2016/12/13 22:55:56.014326 publish.go:291: INFO Publisher name: LSNM33795267A

2016/12/13 22:55:56.014386 async.go:63: INFO Flush Interval set to: 1s

2016/12/13 22:55:56.014391 async.go:64: INFO Max Bulk Size set to: 50

2016/12/13 22:55:56.014395 async.go:72: DBG  create bulk processing worker (interval=1s, bulk size=50)

2016/12/13 22:55:56.014449 beat.go:207: INFO redditbeat start running.

2016/12/13 22:55:56.014459 redditbeat.go:38: INFO redditbeat is running! Hit CTRL-C to stop it.

2016/12/13 22:55:57.370781 client.go:184: DBG  Publish: {

"@timestamp": "2016-12-13T22:54:47.252Z",

"beat": {

"hostname": "LSNM33795267A",

"name": "LSNM33795267A",

"version": "6.0.0-alpha1"

},

"counter": 1,

"type": "redditbeat"

}

第 2 段（可获 0.73 积分）

R e; 7个月前 

关于命令行参数：-e记录到标准err，而-d“*”启用所有调试选择器。有关参数的完整列表，请键入./redditbeat --help。编码Go代码位于.go文件中（令人惊讶...）在$ GOPATH / src文件夹的项目子文件夹中。配置类型第一个有趣的文件是config / config.go，它定义了一个结构来声明Beat的可能参数。至于前面的Logstash插件，让我们添加一个subreddit参数，并设置它的默认值：type Config struct {

Period time.Duration `config:"period"`

Subreddit string `config:"subreddit"`

}

var DefaultConfig = Config {

Period: 15 * time.Second,

Subreddit: "elastic",

}

第 3 段（可获 0.89 积分）

R e; 7个月前 

Beater TypeBeat本身的代码在beater / redditbean.go中找到。默认模板为Beat和三个函数创建一个struct：Beat构造函数—用来读取配置: func New(b *beat.Beat, cfg *common.Config) (beat.Beater, error) { ... } 

Run 函数- 需要覆盖Beat的主要功能: func (bt *Redditbeat) Run(b *beat.Beat) error { ... } 

Stop 函数管理优雅关闭: func (bt *Redditbeat) Stop() { ... } 

Note 1:在Go中没有明确的接口实现。实现了 interface 中的所有方法，即创建一个隐式继承关系. 出于写文档的目的，这是 Beater 接口:type Beater interface {

Run(b *Beat) error

Stop()

}

第 4 段（可获 0.93 积分）

R e; 7个月前 

因此，由于Beat结构实现了Run和Stop，它是一个Beater。Note 2: 在Go中没有类的概念，所以方法不能在一个具体类型上声明。但是，它存在扩展函数的概念：可以添加行为到一个类型（在单个包中）的函数。它需要声明receiver 类型：这是在fun关键字和函数名之间完成的 - 这里是指Redditbeat类型（或者更准确地说，是一个指向Redditbeat类型的指针，但是这里有一个隐式转换）。构造函数和Stop函数可以保持不变，无论什么特性都应该在Run函数中。在这种情况下，功能是调用Reddit REST API并为每个Reddit帖子发送一条消息。

第 5 段（可获 1.59 积分）

R e; 7个月前 

最终代码如下所示：func (bt *Redditbeat) Run(b *beat.Beat) error {

bt.client = b.Publisher.Connect()

ticker := time.NewTicker(bt.config.Period)

reddit := "" + bt.config.Subreddit + "/.json"

client := http.Client {}

for {

select {

case -bt.done:

return nil

case -ticker.C:

}

req, reqErr := http.NewRequest("GET", reddit, nil)

req.Header.Add("User-Agent", "Some existing header to bypass 429 HTTP")

if (reqErr != nil) {

panic(reqErr)

}

resp, getErr := client.Do(req)

if (getErr != nil) {

panic(getErr)

}

body, readErr := ioutil.ReadAll(resp.Body)

defer resp.Body.Close()

if (readErr != nil) {

panic(readErr)

}

trimmedBody := body[len(prefix):len(body) - len(suffix)]

messages := strings.Split(string(trimmedBody), separator)

for i := 0; i  len(messages); i ++ {

event := common.MapStr{

"@timestamp": common.Time(time.Now()),

"type":       b.Name,

"message":    "{" + messages[i] + "}",

}

bt.client.PublishEvent(event)

}

}

}

第 6 段（可获 0.09 积分）

R e; 7个月前 

这里是对最重要的几部分的解释：line 4: 通过连接字符串创建Reddit REST URL，包括配置Subreddit参数。记住，它的默认值已在config.go文件中定义。line 5: 引用httpClient类型line 12: 创建新的HTTP请求。注意Go允许多个返回值。line 13: 如果没有设置标准请求头，Reddit的API将返回429状态码。line 14: Go标准错误不通过异常处理，而是随着常规返回值返回。根据Golang wiki：指示调用者的错误条件，应通过返回错误值来完成line 15: panic() 函数类似于在Java中抛出异常, 被处理时推到栈顶。 有关详细信息，请查看相关文档。line 17: 执行HTTP请求。line 21: 将响应主体读入字节数组。line 22: 关闭主体流。注意defer关键字：defer语句延迟函数的执行，直到环绕的函数返回。line 26: 创建整个响应主体字节数组的切片 - 对数组的一部分的引用。实质上，它删除了前缀和后缀以保持相关的JSON值。之后将字节数组解析成JSON。line 27: 分割切片以单独获取每个JSON片段。line 29: 将消息创建为简单的字典结构。line 34: 发送。

第 7 段（可获 3.11 积分）

R e; 7个月前 

配置, 构建, 运行默认配置参数可以在项目根目录下的redditbeat.yml文件中找到。请注意，redditbeat.full.yml中列出了其他常见的Beat参数，以及相关注释。关于Beats的一个有趣的事情是，他们的消息可以直接发送到Elasticsearch或Logstash进行进一步处理。这在上述配置文件中配置。redditbeat:

period: 10s

output.elasticsearch:

hosts: ["localhost:9200"]

output.logstash:

hosts: ["localhost:5044"]

enabled: true

第 8 段（可获 0.78 积分）

R e; 7个月前 

此配置片段将每10秒循环运行Run方法，并将消息发送到在localhost上运行的Logstash实例在端口5044上。这可以在运行Beat时被覆盖（见下文）。注意：为了使Logstash接受来自Beats的消息，必须安装Logstash Beat插件，并且必须为Beats配置Logstash的input：input {

beats {

port = 5044

}

}

要构建项目，请在项目的根目录中键入make。它将创建一个可以运行的可执行文件。./redditbeat -e -E redditbeat.subreddit=java

-E参数可以覆盖在的redditbeat.yml配置文件中找到的参数（见上文）。在这里，它设置subreddit读为“java”，而不是默认的“elastic”。

第 9 段（可获 1.3 积分）

R e; 7个月前 

输出如下所示:2016/12/17 14:51:19.748329 client.go:184: DBG  Publish: {

"@timestamp": "2016-12-17T14:51:19.748Z",

"beat": {

"hostname": "LSNM33795267A",

"name": "LSNM33795267A",

"version": "6.0.0-alpha1"

},

"message": "{

\"kind\": \"t3\", \"data\": {

\"contest_mode\": false, \"banned_by\": null, 

\"domain\": \"blogs.oracle.com\", \"subreddit\": \"java\", \"selftext_html\": null, 

\"selftext\": \"\", \"likes\": null, \"suggested_sort\": null, \"user_reports\": [], 

\"secure_media\": null, \"saved\": false, \"id\": \"5ipzgq\", \"gilded\": 0, 

\"secure_media_embed\": {}, \"clicked\": false, \"report_reasons\": null, 

\"author\": \"pushthestack\", \"media\": null, \"name\": \"t3_5ipzgq\", \"score\": 11, 

\"approved_by\": null, \"over_18\": false, \"removal_reason\": null, \"hidden\": false, 

\"thumbnail\": \"\", \"subreddit_id\": \"t5_2qhd7\", \"edited\": false, 

\"link_flair_css_class\": null, \"author_flair_css_class\": null, \"downs\": 0, 

\"mod_reports\": [], \"archived\": false, \"media_embed\": {}, \"is_self\": false, 

\"hide_score\": false, \"spoiler\": false, 

\"permalink\": \"/r/java/comments/5ipzgq/jdk_9_will_no_longer_bundle_javadb/\", 

\"locked\": false, \"stickied\": false, \"created\": 1481943248.0, 

\"url\": \"\", 

\"author_flair_text\": null, \"quarantine\": false, 

\"title\": \"JDK 9 will no longer bundle JavaDB\", \"created_utc\": 1481914448.0, 

\"link_flair_text\": null, \"distinguished\": null, \"num_comments\": 4, 

\"visited\": false, \"num_reports\": null, \"ups\": 11

}

}",

"type": "redditbeat"

}

小白学python怎么快速入门？多久能完成一个项目

众所周知，Python是一门简单易学的编程语言，很多零基础的人员均可轻松入门，但是想要精通，还是需要下一番苦功的。

Python学习这件事，想要做好，一方面靠自己，认真努力去学习，另一方面靠老师，好的老师掌握好的学习方法，让学习更轻松，知识更深入，能够轻松掌握高深技能！

老男孩教育是Python培训领域的专家，2012年就开展了Python培训，是行业较早的Python培训机构，积累了大量的Python培训教学经验，并能全局把控企业用人指标，科学的制定了Python教学课程体系，5+5双班模式，满足5-8年职业生涯需求，让学员轻松拿下高薪职位！

以下是老男孩教育Python课程内容：

阶段一：Python开发基础

Python开发基础课程内容包括：计算机硬件、操作系统原理、安装linux操作系统、linux操作系统维护常用命令、Python语言介绍、环境安装、基本语法、基本数据类型、二进制运算、流程控制、字符编码、文件处理、数据类型、用户认证、三级菜单程序、购物车程序开发、函数、内置方法、递归、迭代器、装饰器、内置方法、员工信息表开发、模块的跨目录导入、常用标准库学习，b加密\re正则\logging日志模块等，软件开发规范学习，计算器程序、ATM程序开发等。

阶段二：Python高级级编编程数据库开发

Python高级级编编程数据库开发课程内容包括：面向对象介绍、特性、成员变量、方法、封装、继承、多态、类的生成原理、MetaClass、__new__的作用、抽象类、静态方法、类方法、属性方法、如何在程序中使用面向对象思想写程序、选课程序开发、TCP/IP协议介绍、Socket网络套接字模块学习、简单远程命令执行客户端开发、C\S架构FTP服务器开发、线程、进程、队列、IO多路模型、数据库类型、特性介绍，表字段类型、表结构构建语句、常用增删改查语句、索引、存储过程、视图、触发器、事务、分组、聚合、分页、连接池、基于数据库的学员管理系统开发等。

阶段三：前端开发

前端开发课程内容包括：HTML\CSS\JS学习、DOM操作、JSONP、原生Ajax异步加载、购物商城开发、Jquery、动画效果、事件、定时期、轮播图、跑马灯、HTML5\CSS3语法学习、bootstrap、抽屉新热榜开发、流行前端框架介绍、Vue架构剖析、mvvm开发思想、Vue数据绑定与计算属性、条件渲染类与样式绑定、表单控件绑定、事件绑定webpack使用、vue-router使用、vuex单向数据流与应用结构、vuex actions与mutations热重载、vue单页面项目实战开发等。

阶段四：WEB框架开发

WEB框架开发课程内容包括：Web框架原理剖析、Web请求生命周期、自行开发简单的Web框架、MTV\MVC框架介绍、Django框架使用、路由系统、模板引擎、FBV\CBV视图、Models ORM、FORM、表单验证、Django session cookie、CSRF验证、XSS、中间件、分页、自定义tags、Django Admin、cache系统、信号、message、自定义用户认证、Memcached、redis缓存学习、RabbitMQ队列学习、Celery分布式任务队列学习、Flask框架、Tornado框架、Restful API、BBS+Blog实战项目开发等。

阶段五：爬虫开发

爬虫开发课程内容包括：Requests模块、BeautifulSoup，Selenium模块、PhantomJS模块学习、基于requests实现登陆：抽屉、github、知乎、博客园、爬取拉钩职位信息、开发Web版微信、高性能IO性能相关模块：asyncio、aiohttp、grequests、Twisted、自定义开发一个异步非阻塞模块、验证码图像识别、Scrapy框架以及源码剖析、框架组件介绍（engine、spider、downloader、scheduler、pipeline）、分布式爬虫实战等。

阶段六：全栈项目实战

全栈项目实战课程内容包括：互联网企业专业开发流程讲解、git、github协作开发工具讲解、任务管理系统讲解、接口单元测试、敏捷开发与持续集成介绍、django + uwsgi + nginx生产环境部署学习、接口文档编写示例、互联网企业大型项目架构图深度讲解、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。

阶段七：数据分析

数据分析课程内容包括：金融、股票知识入门股票基本概念、常见投资工具介绍、市基本交易规则、A股构成等，K线、平均线、KDJ、MACD等各项技术指标分析，股市操作模拟盘演示量化策略的开发流程，金融量化与Python，numpy、pandas、matplotlib模块常用功能学习在线量化投资平台：优矿、聚宽、米筐等介绍和使用、常见量化策略学习，如双均线策略、因子选股策略、因子选股策略、小市值策略、海龟交易法则、均值回归、策略、动量策略、反转策略、羊驼交易法则、PEG策略等、开发一个简单的量化策略平台，实现选股、择时、仓位管理、止盈止损、回测结果展示等功能。

阶段八：人工智能

人工智能课程内容包括：机器学习要素、常见流派、自然语言识别、分析原理词向量模型word2vec、剖析分类、聚类、决策树、随机森林、回归以及神经网络、测试集以及评价标准Python机器学习常用库scikit-learn、数据预处理、Tensorflow学习、基于Tensorflow的CNN与RNN模型、Caffe两种常用数据源制作、OpenCV库详解、人脸识别技术、车牌自动提取和遮蔽、无人机开发、Keras深度学习、贝叶斯模型、无人驾驶模拟器使用和开发、特斯拉远程控制API和自动化驾驶开发等。

阶段九：自动化运维开发

自动化运维开发课程内容包括：设计符合企业实际需求的CMDB资产管理系统，如安全API接口开发与使用，开发支持windows和linux平台的客户端，对其它系统开放灵活的api设计与开发IT资产的上线、下线、变更流程等业务流程。IT审计+主机管理系统开发，真实企业系统的用户行为、管理权限、批量文件操作、用户登录报表等。分布式主机监控系统开发，监控多个服务，多种设备，报警机制，基于http+restful架构开发，实现水平扩展，可轻松实现分布式监控等功能。

阶段十：高并发语言GO开发

高并发语言GO开发课程内容包括：Golang的发展介绍、开发环境搭建、golang和其他语言对比、字符串详解、条件判断、循环、使用数组和map数据类型、go程序编译和Makefile、gofmt工具、godoc文档生成工具详解、斐波那契数列、数据和切片、makenew、字符串、go程序调试、slicemap、map排序、常用标准库使用、文件增删改查操作、函数和面向对象详解、并发、并行与goroute、channel详解goroute同步、channel、超时与定时器reover捕获异常、Go高并发模型、Lazy生成器、并发数控制、高并发web服务器的开发等。

golang集成支付宝支付(沙箱环境)

最近项目有支付需求，需要集成app内支付，而支付宝官方没有提供go的sdk，所以去github上找了一下第三方实现的sdk，这里记录一下流程。

github地址

支付宝沙箱环境配置地址

这里主要讲解一下app内拉起支付宝控件支付，用户手机必须安装了支付宝。

app内支付和app网页支付其实差不多，可以做成用户安装了支付宝就拉起控件使用app内支付，没有安装就跳转网页支付。

分享文章：go语言写的控件库,go语言用什么工具开发
文章出自：http://scyanting.com/article/hcjopi.html