Go 语言极速入门13 - 实战项目之并发版爬虫

爬取器 fetcher 和解析器 parser 与之前相同，模型类也不变。

成都创新互联公司主要从事成都网站设计、成都网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务涟源,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:028-86922220

注意：

见本小节文末分析。

Q1. 为什么在 scheduler 中每一个将 Request 添加到 chan 的任务都开启一个 Goroutine 来执行？

A：在 Go 语言学习9 - Channel 一节描述过，对于无缓冲的 channel， 如果两个 goroutine 没有同时准备好，通道会导致先执行发送或接收操作的 goroutine 阻塞等待 ，假设使用 s.workerChan - request 而不是 go func() { s.workerChan - request }() ，假设开启了 10 个 Worker Goroutine，这 10 个 goroutine 阻塞在 r := -in 阻塞等待获取 Request 上，假设 seeds 大于 10，例如 11，那么当 Engine 的这个循环执行到底 11 个的时候，将陷入等待

，因为所有的10个 Worker goroutine 此时都可能也处于等待中，即 in chan 没有接收方准备好接收数据，所以 engine 作为发送方也要阻塞等待；那么为什么10个 Worker goroutine 都会处于等待中呢？

因为10个 Worker Goroutine 都处理完了请求，并阻塞在 out - result ，由于 Engine 阻塞在 “将第11个 Request 发送到 in” 上，所以其无法进行后续的死循环去开启 result := -out ，到此为止，相互等待死锁形成！！！Engine 等待 Worker 准备好 r := -in ，而10个 Worker 等待 Engine 的 result := -out 。

当使用 go func() { s.workerChan - request }() 之后，Engine Goroutine 将不再阻塞，死锁等待被打破！！！

Q2. scheduler 方法为何使用指针接收者而不是值接收者？

A：在 Go 语言学习5 - 面向接口 中我们详细的介绍了什么时候使用指针接收者，什么时候使用值接收者，其中最重要的两条就是 “ 1. 如果要改变接收者内部的属性值，必须使用指针接收者，因为值接收者是对接收者副本的操作；2. 如果 struct 内一个方法是指针接收者，那么其全部方法都是用指针接收者 ”，在 scheduler 中，我们要将外界的 in chan 赋值给 scheduler 的 workChann，所以需要改变 workChann 的值，需要使用指针接收者。

go语言新建项目

一直直接操作的框架 使用vscode 打开就会自动装包，这次想写一个简单应用，确不会怎么建项目，记录如下。

go1.14 后，以及不再需要把项目写在GOPATH下，所有不需要再配置。

配置GOPRXY goenv-w GOPROXY=(国内无法访问)

使用go mod方法新建项目。

任意位置新建文件夹。

文件夹下执行go mod xxx ，生成一个go.mod文件。

新建一个main.go文件，就可以直接运行了。

我开始的时候，先建了main.go文件，再执行的go.mod。后面没法运行。

参考：李文周的博客。

Go语言的开源项目

1．Docker项目

网址为 。

介绍：Docker是一种操作系统层面的虚拟化技术，可以在操作系统和应用程序之间进行隔离，也可以称之为容器。Docker可以在一台物理服务器上快速运行一个或多个实例。例如，启动一个Cent OS操作系统，并在其内部命令行执行指令后结束，整个过程就像自己在操作系统一样高效。

2．golang项目

网址为 。

介绍：Go语言的早期源码使用C语言和汇编语言写成。从Go 1.5版本自举后，完全使用Go语言自身进行编写。Go语言的源码对了解Go语言的底层调度有极大的参考意义，建议希望对Go语言有深入了解的读者读一读。

3．Kubernetes项目

网址为 。

介绍：Google公司开发的构建于Docker之上的容器调度服务，用户可以通过Kubernetes集群进行云端容器集群管理。

4．etcd项目

网址为 。

介绍：一款分布式、可靠的KV存储系统，可以快速进行云配置。

5．beego项目

网址为 。

介绍：beego是一个类似Python的Tornado框架，采用了RESTFul的设计思路，使用Go语言编写的一个极轻量级、高可伸缩性和高性能的Web应用框架。

6．martini项目

网址为 。

介绍：一款快速构建模块化的Web应用的Web框架。

7．codis项目

网址为 Labs/codis。

介绍：国产的优秀分布式Redis解决方案。

8．delve项目

网址为 。

介绍：Go语言强大的调试器，被很多集成环境和编辑器整合。

Go 是怎么使用 Go 来编译自身的

是Go语言吗?

Go 编译过程 九个步骤

第一步. all.bash

% cd $GOROOT/src

% ./all.bash

第一步 all.bash 只是调用了另外两个 shell 脚本：make.bash 和run.bash。若使用 Windows 或 Plan9，其过程也基本类似，只是脚本分别以 .bat 或 .rc 结尾。在文章的其他部分，请用适当的操作系统对应的扩展来补全命令。

第二步. make.bash

. ./make.bash --no-banner

make.bash 作为 all.bash 内容的一部分，如果它退出也会中断构建过程

第三步. cmd/dist

gcc -O2 -Wall -Werror -ggdb -o cmd/dist/dist -Icmd/dist cmd/dist/*.c

当健全检查完成后，make.bash 开始编译 cmd/dist。

第四步. go_bootstrap

现在 go_bootstrap 已经构建完成，make.bash 的最后一步是使用 go_bootstrap 编译完整的 Go 标准库，包括一个完整的 go 工具用以替换。

echo "# Building packages and commands for $GOOS/$GOARCH."

"$GOTOOLDIR"/go_bootstrap install -gcflags "$GO_GCFLAGS" \

-ldflags "$GO_LDFLAGS" -v std

第五步. run.bash

现在 make.bash 已经完成，回到 all.bash 的执行，这会调用 run.bash。run.bash 的任务是编译和测试标准库、运行时以及语言测试集。

bash run.bash --no-rebuild

由于 make.bash 和 run.bash 都会调用 go install -a std，因此需要使用 –no-rebuild 标志来避免重复前面的步骤，–no-rebuild 跳过了第二个 go install。

# allow all.bash to avoid double-build of everythingrebuild=trueif [ "$1" = "--no-rebuild" ]; then shiftelse echo '# Building packages and commands.' time go install -a -v std echofi

第六步. go test -a std

echo '# Testing packages.'

time go test std -short -timeout=$(expr 120 \* $timeout_scale)s

echo

接下来 run.bash 会在标准库里所有的包上来运行用 testing 包编写的单元测试。由于 $GOPATH 和 $GOROOT 中有着相同的命名空间，所以不能直接使用 go test … 否则 $GOPATH 中的每个包也会被逐一测试，因此创建了一个用于标准库中的包的别名：std。由于一些测试需要比较长的时间，且会消耗大量内存，因此用 -short 标志对一些测试进行了过滤。

第七步. runtime 和 cgo 测试

run.bash 接下来的部分会运行平台对 cgo 支持的测试，执行一些性能测试，并且编译一些伴随 Go 发行版一起的杂项程序。随着时间的流逝，这些杂项程序的清单会越来越长，那么它们也就会不可避免的被从编译过程中悄悄剥离出去。

第八步. go run test

(xcd ../test

unset GOMAXPROCS

time go run run.go

) || exit $?

run.bash 的倒数第二步会调用在 $GOROOT 下的 test 目录里的编译器和运行时的测试。他们是对于编译器和运行时自身的，较为低级细节的测试。会执行语言规格测试，test/bugs 和 test/fixedbugs 子目录保存有那些已经被发现并被修复的问题的独立的测试。驱动测试的是一个小 Go 程序 $GOROOT/test/run.go，会执行 test 目录里的每个 .go 文件。一些 .go 文件的首行包含了指导 run.go 对结果作出判断的指令，例如，程序将会失败，或提供一个确定的输出队列。

第九步. go tool api

echo '# Checking API compatibility.'

go tool api -c $GOROOT/api/go1.txt,$GOROOT/api/go1.1.txt \

-next $GOROOT/api/next.txt -except $GOROOT/api/except.txt

run.bash 的最后一步调用了 api 工具。

网站名称：go语言编写个人项目 go语言编程之旅 代码
分享URL：http://scyanting.com/article/ddjighg.html