【golang详解】go语言GMP(GPM)原理和调度

Goroutine调度是一个很复杂的机制，下面尝试用简单的语言描述一下Goroutine调度机制，想要对其有更深入的了解可以去研读一下源码。

成都网站建设哪家好，找创新互联！专注于网页设计、重庆网站建设、微信开发、微信平台小程序开发、集团成都企业网站建设等服务项目。核心团队均拥有互联网行业多年经验，服务众多知名企业客户；涵盖的客户类型包括：成都软装设计等众多领域，积累了大量丰富的经验，同时也获得了客户的一致赞许！

首先介绍一下GMP什么意思：

G ----------- goroutine: 即Go协程，每个go关键字都会创建一个协程。

M ---------- thread内核级线程，所有的G都要放在M上才能运行。

P ----------- processor处理器，调度G到M上，其维护了一个队列，存储了所有需要它来调度的G。

Goroutine 调度器P和 OS 调度器是通过 M 结合起来的，每个 M 都代表了 1 个内核线程，OS 调度器负责把内核线程分配到 CPU 的核上执行

模型图：

避免频繁的创建、销毁线程，而是对线程的复用。

1）work stealing机制

当本线程无可运行的G时，尝试从其他线程绑定的P偷取G，而不是销毁线程。

2）hand off机制

当本线程M0因为G0进行系统调用阻塞时，线程释放绑定的P，把P转移给其他空闲的线程执行。进而某个空闲的M1获取P，继续执行P队列中剩下的G。而M0由于陷入系统调用而进被阻塞，M1接替M0的工作，只要P不空闲，就可以保证充分利用CPU。M1的来源有可能是M的缓存池，也可能是新建的。当G0系统调用结束后，根据M0是否能获取到P，将会将G0做不同的处理：

如果有空闲的P，则获取一个P，继续执行G0。

如果没有空闲的P，则将G0放入全局队列，等待被其他的P调度。然后M0将进入缓存池睡眠。

如下图

GOMAXPROCS设置P的数量，最多有GOMAXPROCS个线程分布在多个CPU上同时运行

在Go中一个goroutine最多占用CPU 10ms，防止其他goroutine被饿死。

具体可以去看另一篇文章

【Golang详解】go语言调度机制 抢占式调度

当创建一个新的G之后优先加入本地队列，如果本地队列满了，会将本地队列的G移动到全局队列里面，当M执行work stealing从其他P偷不到G时，它可以从全局G队列获取G。

协程经历过程

我们创建一个协程 go func()经历过程如下图：

说明：

这里有两个存储G的队列，一个是局部调度器P的本地队列、一个是全局G队列。新创建的G会先保存在P的本地队列中，如果P的本地队列已经满了就会保存在全局的队列中；处理器本地队列是一个使用数组构成的环形链表，它最多可以存储 256 个待执行任务。

G只能运行在M中，一个M必须持有一个P，M与P是1：1的关系。M会从P的本地队列弹出一个可执行状态的G来执行，如果P的本地队列为空，就会想其他的MP组合偷取一个可执行的G来执行；

一个M调度G执行的过程是一个循环机制；会一直从本地队列或全局队列中获取G

上面说到P的个数默认等于CPU核数，每个M必须持有一个P才可以执行G，一般情况下M的个数会略大于P的个数，这多出来的M将会在G产生系统调用时发挥作用。类似线程池，Go也提供一个M的池子，需要时从池子中获取，用完放回池子，不够用时就再创建一个。

work-stealing调度算法：当M执行完了当前P的本地队列队列里的所有G后，P也不会就这么在那躺尸啥都不干，它会先尝试从全局队列队列寻找G来执行，如果全局队列为空，它会随机挑选另外一个P，从它的队列里中拿走一半的G到自己的队列中执行。

如果一切正常，调度器会以上述的那种方式顺畅地运行，但这个世界没这么美好，总有意外发生，以下分析goroutine在两种例外情况下的行为。

Go runtime会在下面的goroutine被阻塞的情况下运行另外一个goroutine：

用户态阻塞/唤醒

当goroutine因为channel操作或者network I/O而阻塞时（实际上golang已经用netpoller实现了goroutine网络I/O阻塞不会导致M被阻塞，仅阻塞G，这里仅仅是举个栗子），对应的G会被放置到某个wait队列(如channel的waitq)，该G的状态由_Gruning变为_Gwaitting，而M会跳过该G尝试获取并执行下一个G，如果此时没有可运行的G供M运行，那么M将解绑P，并进入sleep状态；当阻塞的G被另一端的G2唤醒时（比如channel的可读/写通知），G被标记为，尝试加入G2所在P的runnext（runnext是线程下一个需要执行的 Goroutine。）， 然后再是P的本地队列和全局队列。

系统调用阻塞

当M执行某一个G时候如果发生了阻塞操作，M会阻塞，如果当前有一些G在执行，调度器会把这个线程M从P中摘除，然后再创建一个新的操作系统的线程(如果有空闲的线程可用就复用空闲线程)来服务于这个P。当M系统调用结束时候，这个G会尝试获取一个空闲的P执行，并放入到这个P的本地队列。如果获取不到P，那么这个线程M变成休眠状态， 加入到空闲线程中，然后这个G会被放入全局队列中。

队列轮转

可见每个P维护着一个包含G的队列，不考虑G进入系统调用或IO操作的情况下，P周期性的将G调度到M中执行，执行一小段时间，将上下文保存下来，然后将G放到队列尾部，然后从队列中重新取出一个G进行调度。

除了每个P维护的G队列以外，还有一个全局的队列，每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行，全局队列中G的来源，主要有从系统调用中恢复的G。之所以P会周期性地查看全局队列，也是为了防止全局队列中的G被饿死。

除了每个P维护的G队列以外，还有一个全局的队列，每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行，全局队列中G的来源，主要有从系统调用中恢复的G。之所以P会周期性地查看全局队列，也是为了防止全局队列中的G被饿死。

M0

M0是启动程序后的编号为0的主线程，这个M对应的实例会在全局变量rutime.m0中，不需要在heap上分配，M0负责执行初始化操作和启动第一个G，在之后M0就和其他的M一样了

G0

G0是每次启动一个M都会第一个创建的goroutine，G0仅用于负责调度G，G0不指向任何可执行的函数，每个M都会有一个自己的G0，在调度或系统调用时会使用G0的栈空间，全局变量的G0是M0的G0

一个G由于调度被中断，此后如何恢复？

中断的时候将寄存器里的栈信息，保存到自己的G对象里面。当再次轮到自己执行时，将自己保存的栈信息复制到寄存器里面，这样就接着上次之后运行了。

我这里只是根据自己的理解进行了简单的介绍，想要详细了解有关GMP的底层原理可以去看Go调度器 G-P-M 模型的设计者的文档或直接看源码

参考： ()

()

GO语言（三十）：访问关系型数据库（上）

本教程介绍了使用 Godatabase/sql及其标准库中的包访问关系数据库的基础知识。

您将使用的database/sql包包括用于连接数据库、执行事务、取消正在进行的操作等的类型和函数。

在本教程中，您将创建一个数据库，然后编写代码来访问该数据库。您的示例项目将是有关老式爵士乐唱片的数据存储库。

首先，为您要编写的代码创建一个文件夹。

1、打开命令提示符并切换到您的主目录。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，为您的代码创建一个名为 data-access 的目录。

3、创建一个模块，您可以在其中管理将在本教程中添加的依赖项。

运行go mod init命令，为其提供新代码的模块路径。

此命令创建一个 go.mod 文件，您添加的依赖项将在其中列出以供跟踪。

注意： 在实际开发中，您会指定一个更符合您自己需求的模块路径。有关更多信息，请参阅一下文章。

GO语言（二十五）：管理依赖项（上）

GO语言（二十六）：管理依赖项（中）

GO语言（二十七）：管理依赖项（下）

接下来，您将创建一个数据库。

在此步骤中，您将创建要使用的数据库。您将使用 DBMS 本身的 CLI 创建数据库和表，以及添加数据。

您将创建一个数据库，其中包含有关黑胶唱片上的老式爵士乐录音的数据。

这里的代码使用MySQL CLI，但大多数 DBMS 都有自己的 CLI，具有类似的功能。

1、打开一个新的命令提示符。

在命令行，登录到您的 DBMS，如下面的 MySQL 示例所示。

2、在mysql命令提示符下，创建一个数据库。

3、切到您刚刚创建的数据库，以便您可以添加表。

4、在文本编辑器的 data-access 文件夹中，创建一个名为 create-tables.sql 的文件来保存用于添加表的 SQL 脚本。

将以下 SQL 代码粘贴到文件中，然后保存文件。

在此 SQL 代码中：

（1）删除名为album表。 首先执行此命令可以让您更轻松地稍后重新运行脚本。

（2）创建一个album包含四列的表：title、artist和price。每行的id值由 DBMS 自动创建。

（3）添加带有值的四行。

5、在mysql命令提示符下，运行您刚刚创建的脚本。

您将使用以下形式的source命令：

6、在 DBMS 命令提示符处，使用SELECT语句来验证您是否已成功创建包含数据的表。

接下来，您将编写一些 Go 代码进行连接，以便进行查询。

现在你已经有了一个包含一些数据的数据库，开始你的 Go 代码。

找到并导入一个数据库驱动程序，该驱动程序会将您通过database/sql包中的函数发出的请求转换为数据库可以理解的请求。

1、在您的浏览器中，访问SQLDrivers wiki 页面以识别您可以使用的驱动程序。

2、使用页面上的列表来识别您将使用的驱动程序。为了在本教程中访问 MySQL，您将使用 Go-MySQL-Driver。

3、请注意驱动程序的包名称 - 此处为github.com/go-sql-driver/mysql.

4、使用您的文本编辑器，创建一个用于编写 Go 代码的文件，并将该文件作为 main.go 保存在您之前创建的数据访问目录中。

5、进入main.go，粘贴以下代码导入驱动包。

在此代码中：

（1）将您的代码添加到main包中，以便您可以独立执行它。

（2）导入 MySQL 驱动程序github.com/go-sql-driver/mysql。

导入驱动程序后，您将开始编写代码以访问数据库。

现在编写一些 Go 代码，让您使用数据库句柄访问数据库。

您将使用指向结构的指针sql.DB，它表示对特定数据库的访问。

编写代码

1、进入 main.go，在import您刚刚添加的代码下方，粘贴以下 Go 代码以创建数据库句柄。

在此代码中：

（3）使用 MySQL 驱动程序Config和FormatDSN类型以收集连接属性并将它们格式化为连接字符串的 DSN。

该Config结构使代码比连接字符串更容易阅读。

（4）调用sql.Open 初始化db变量，传递 FormatDSN。

（5）检查来自 的错误sql.Open。例如，如果您的数据库连接细节格式不正确，它可能会失败。

为了简化代码，您调用log.Fatal结束执行并将错误打印到控制台。在生产代码中，您会希望以更优雅的方式处理错误。

（6）调用DB.Ping以确认连接到数据库有效。在运行时， sql.Open可能不会立即连接，具体取决于驱动程序。您在Ping此处使用以确认 database/sql包可以在需要时连接。

（7）检查来自Ping的错误，以防连接失败。

（8）Ping如果连接成功，则打印一条消息。

文件的顶部现在应该如下所示：

3、保存 main.go。

1、开始跟踪 MySQL 驱动程序模块作为依赖项。

使用go get 添加 github.com/go-sql-driver/mysql 模块作为您自己模块的依赖项。使用点参数表示“获取当前目录中代码的依赖项”。

2、在命令提示符下，设置Go 程序使用的DBUSER和DBPASS环境变量。

在 Linux 或 Mac 上：

在 Windows 上：

3、在包含 main.go 的目录中的命令行中，通过键入go run来运行代码。

连接成功了！

接下来，您将查询一些数据。

Go时区设置

全球以英国伦敦格林威治作为零度经线的起点，每隔15经度为一个时区，15度经线为该时区的中央经线，共分为24个时区。由西向东每隔15经度增加一个时区，相反的，每向西15经度减少一个时区。中国所在时区为东8区。

当前时间 time.Now() 返回的是当地时区的时间：

CST可以代表如下四个不同的时区：

time.Now() 返回的 +0800 CST 表示的就是中国标准时间，与UTC时间有如下的转化：

Wall Clocks表示挂钟时间，存储的是自1970 年 1 月 1 日 0 时 0 分 0 秒以来的时间戳，当系统和授时服务器进行校准时间时间操作时，有可能造成这一秒是2018-1-1 00:00:00，而下一秒变成了2017-12-31 23:59:59的情况。

Monotonic Clocks，意思是单调时间的，所谓单调，就是只会不停的往前增长，不受校时操作的影响，这个时间是自进程启动以来的秒数。

time.Now() 返回的 m=+0.004002201 就是表示Monotonic Clocks

go语言中如果不设置指定的时区，通过 time.Now() 获取到的就是本地时区

设置时区有两种方式：

固定时区到东八区。但这种不是对程序的全局设置，每次获取时都需要固定时区

加载指定时区。但如果没有go环境使用这种方式就会加载失败，因为时区信息是放在go的安装包中的。

如果你用第二种方式加载时区，在打docker镜像时就需要进行时区相关的配置，配置文件如下：

参考文章：

如何配置go语言开发环境

1、下载go的zip文件。并且一定要把文件解压到c:\go目录下。

2、配置windows的高级环境变量。包括：GOROOT、GOOS、GOBIN、GOARCH。并且在path变量里面把c:\go\bin加入。以便可以在命令行直接运行go命令。

举例：我的机器：

GOPATH= c:\go;c:\go\src;F:\workspace\goSample01;

GOBIN=c:\go\bin;F:\workspace\goSample01\bin;

其中，c:\go是go的安装路径；

F:\workspace\goSample01是我写的go语言项目的工程目录；

F:\workspace\goSample01\bin是go语言项目的工程目录下的可执行文件路径;

3、在完成环境变量配置后，打开一个命令行窗口，直接输入go，然后回车，看看是否出现go的帮助信息。如果出现，那么go的基本环境就OK了。

注意：这个基本环境不包含开发工具，也不能直接编译带C代码的go程序。

4、

(可选)为了支持Import远程包，最好装个gomingw。下载地址：

/downloads/list。如果下的是压缩包，请把它解压到C盘。例如，C:\gowin-env。里面有个Console.bat是以后使用go

get的环境。举例：有个文件a.go,里面import(

"fmt"

"github.com/astaxie/beedb"

_ "github.com/ziutek/mymysql/godrv"

为了编译该a.go文件，需要启动Console.bat，然后在该命令行窗口，进入c:\go\src目录下，执行go getgithub.com/astaxie/beedb

Go get github.com/ziutek/mymysql/godrv .

Go会自动下载该远程包并编译和安装这些包。

配置goclipse（可选）

（如果不喜欢eclipse开发工具，请跳过这个配置。）

1、下载并安装goclipse插件。Goclipse是go语言for eclipse的插件，下载地址：

2、启动eclipse并创建go项目。然后写个最简单的helloworld.go文件，并运行。代码如下：

packagemainimport"fmt"func main(){ fmt.Printf("hello, world")}

配置gocode（可选）

如果不需要go语法辅助和eclipse里面的（按ALT+/）弹出go语言自动辅助功能，请跳过这个配置。

1、下载gocode的zip文件，解压后放在go的bin目录下。

2、下载并安装Git软件。并且在path里面配置git的执行路径。例如c:\git\bin

3、在命令行执行：go build .\gocode。如果一切正常，那么将会编译生成一个gocode.exe文件在go的bin目录下。如果编译失败，那么就转第4步。

4、如果第3步直接编译gocode源文件成功，那就直接到第5步。否则，就需要通过git下载gocode源文件，然后再编译。在命令行执行：go get -u github.com/nsf/gocode 。就会生成gocode.exe文件。

5、在goclipse插件里面指定gocode的路径。就可以在elcipse里面调用gocode来帮助写编码了。

从开发工具这块看，go语言还不够成熟，开发工具都还不完善，有待改进。

下载go-tour教程源代码（可选）

Google有个在线运行go语言的教程（），很不错。支持在web上直接运行大部分的go程序，想了解这个教程的源代码的朋友可以通过以下方式获取。如果没兴趣，可以跳过这个步骤。

1、下载安装Mercurial软件。

2、在命令行下输入：

hg clone

作为测试用的。如果把http改成https协议，下载就会失败。搞不懂。

编译带调用C代码的go文件（可选）

1、为了在windows下编译带C代码的go程序，你首先需要下载并安装MinGW或者Cygwin。

2、首选安装MinGW。在安装MinGW之后，记得要把MinGW安装目录\bin路径设置在path环境变量里面，以便能在dos窗口下直接调用gcc。

3、下载一个gowin-env。下载地址：gowin-env。下载后解压到某个目录下，例如：C:\gowin-env. 然后，编辑go-env.bat。配置相关的go参数。例如，我的配置是：

set GOARCH=386

set GOOS=windows

set GOROOT=c:\go

set GOBIN=%GOROOT%\bin

set GOPATH=%GOROOT%;F:\workspace\goSample01;

设置好go-env.bat后，就可以点击Console.bat来启动编译和运行窗口。

4、编写一个带C代码的go程序。例如，testc.go

5、编译

例如：

go build -compiler gccgo test_c.go

运行调用C代码的go文件（可选）

1、testc.go.

创建rand目录，然后在rand里面创建testc.go. 代码如下：

package rand

/*

//

#include stdio.h

*/

import "C"

func PrintHello() {

C.puts(C.CString("Hello, world\n"))

}

2、a.go

在rand下创建a.go.代码如下：

package rand

import "fmt"

func SayHello(name string){

fmt.Println(name)

}

3、test_import.go

在rand的上一级创建test_import.go。代码如下：

package main

import "./rand"

func main(){

rand.SayHello("tom")

rand.PrintHello()

}

4、运行test_import.go

go run test_import.go

在测试其它几个C代码的时候，发现windows版本的cgo还有些编译问题，同样的代码转移到苹果的XCODE下就没有问题。后来终于发现原因了，原来有些例子是unix平台下的，而在windows平台下，方法名和参数需要做调整。

例如：下面代码在windows下编译报一堆错误。

package rand

/*

#include stdlib.h

*/

import "C"

func Random() int {

return int(C.random())

}

func Seed(i int) {

C.srandom(C.uint(i))

}

这里需要把return int(C.random()) 修改为“return int(C.rand())”

C.srandom(C.uint(i))修改为“C.srand(C.uint(i))”编译就OK了。

Go语言和其他语言的不同之基本语法

Go语言作为出现比较晚的一门编程语言，在其原生支持高并发、云原生等领域的优秀表现，像目前比较流行的容器编排技术Kubernetes、容器技术Docker都是用Go语言写的，像Java等其他面向对象的语言，虽然也能做云原生相关的开发，但是支持的程度远没有Go语言高，凭借其语言特性和简单的编程方式，弥补了其他编程语言一定程度上的不足，一度成为一个热门的编程语言。

最近在学习Go语言，我之前使用过C#、Java等面向对象编程的语言，发现其中有很多的编程方式和其他语言有区别的地方，好记性不如烂笔头，总结一下，和其他语言做个对比。这里只总结差异的地方，具体的语法不做详细的介绍。

种一棵树最好的时间是十年前，其次是现在。

3)变量初始化时候可以和其他语言一样直接在变量后面加等号，等号后面为要初始化的值，也可以使用变量名：=变量值的简单方式

3）变量赋值 Go语言的变量赋值和多数语言一致，但是Go语言提供了多重赋值的功能，比如下面这个交换i、j变量的语句：

在不支持多重赋值的语言中，交换两个变量的值需要引入一个中间变量：

4)匿名变量

在使用其他语言时，有时候要获取一个值，却因为该函数返回多个值而不得不定义很多没有的变量，Go语言可以借助多重返回值和匿名变量来避免这种写法，使代码看起来更优雅。

假如GetName()函数返回3个值，分别是firstName,lastName和nickName

若指向获得nickName，则函数调用可以这样写

这种写法可以让代码更清晰，从而大幅降低沟通的复杂度和维护的难度。

1）基本常量

常量使用关键字const 定义，可以限定常量类型，但不是必须的，如果没有定义常量的类型，是无类型常量

2）预定义常量

Go语言预定义了这些常量 true、false和iota

iota比较特殊，可以被任务是一个可被编译器修改的常量，在每个const关键字出现时被重置为0，然后在下一个const出现之前每出现一个iota，其所代表的数字会自动加1.

3)枚举

1）int 和int32在Go语言中被认为是两种不同类型的类型

2）Go语言定义了两个浮点型float32和float64，其中前者等价于C语言的float类型，后者等价于C语言的double类型

3）go语言支持复数类型

复数实际上是由两个实数（在计算机中使用浮点数表示）构成，一个表示实部（real）、一个表示虚部（imag）。也就是数学上的那个复数

复数的表示

实部与虚部

对于一个复数z=complex(x,y),就可以通过Go语言内置函数real(z)获得该复数的实部，也就是x，通过imag(z)获得该复数的虚部，也就是y

4）数组(值类型，长度在定义后无法再次修改，每次传递都将产生一个副本。)

5）数组切片（slice）

数组切片（slice）弥补了数组的不足，其数据结构可以抽象为以下三个变量：

6）Map 在go语言中Map不需要引入任何库，使用很方便

Go循环语句只支持for关键字，不支持while和do-while

goto语句的语义非常简单，就是跳转到本函数内的某个标签

今天就介绍到这里，以后我会在总结Go语言在其他方面比如并发编程、面向对象、网络编程等方面的不同及使用方法。希望对大家有所帮助。

网站栏目：go语言获取时区 go 获取当前时间
文章起源：http://scyanting.com/article/dochdjp.html