go语言的scan,go语言的缺点

golang-redis系列——返回值助手函数(二)

从上一节的内容可知,Do() 和 Receive() 等方法的返回值,除了 error 外,是一个 interface{} 类型的返回值,因此当我们的复杂操作返回的不是基本数据类型时,就需要我们自己解析返回值,例如,当我们利用 HMGET 方法获取一批返回值时,就需要对返回结果进行解析,具体如下:

公司主营业务:网站建设、网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出武邑免费做网站回馈大家。

由于返回值是多条数据,因此需要先将 reply 转成 []interface 类型,然后在遍历结果时在分别转成 []uint8 (byte数组), 最后再转成 string 类型。

随着我们操作复杂度,数据解析的工作量也会非常大,(lua 脚本的使用,会使结果的解析更为复杂,因为可能存在多种类型的结果一起返回的情况,lua 脚本相关的内容会在下一节介绍)。

redigo 包中的返回值助手函数的存在,就是为了帮助我们完成这些枯燥繁琐的数据解析过程。

返回值助手函数相关源码路径为 github.com/gomodule/redigo/redis/reply.go 提供的主要方法如下:

上述返回值助手函数的具体使用,应该依据具体的命令进行选择。如果大家还记得上一节介绍的 Redis 基本数据类型,可能会有些疑问,对于 redis 来说,其数据据存储本质都是 []bytes, 为什么可以解析出 Int、int64、float等类型的数据呢?

我们以 Float64() 为例进行说明,具体源码如下:

其实,返回值助手函数是将 []byte 类型的原始数据,利用 strconv.ParseFloat(string(reply), 64) 转换成了 float64类型,因此在我们使用过程中返回值助手函数的选择,应该基于业务和实际存储的数据格式为依据。我们以第一小节的示例为例,看返回值助手函数如何降低我们的工作量,具体如下:

除了使用返回值助手函数对上述固定结构的结果进行解析外,redigo 包还提供了一个 Scan()函数用于解析自定义的复杂数据结构,我们依然以上一个示例进行说明,具体示例如下:

如果返回结果为结构化切片,也可以使用 canSlice() 方法,从而简化 loop 处理的部分,具体示例如下:

通过上述的示例,我们介绍了 scan 函数的基本用法,但是细心的同学可能会发现吗,为什么数据写入时,value 的类型为 []int64 但是读取时只能按照 string 类型读取呢。这是因为 Redis 底层存储的数据本质都是 string 类型,。 无论是 HMSET 还是 MSET 最终都只能按照 string 类型读取,因为其本质都是 hash 结构,不同之处仅在于 HMSET 是嵌套的 hash类型。 因此,[]int64 数据在写入阶段,就已经被自动处理为 []byte,写入 redis 之后,len 和 类型 属性会丢失。

如果强行按照 []int64解析将出错:

如果 value 必须以结构化的数据存储,那么可以提前对要写入的数据进行编码,例如 json、protobuf 等,取出后再进行解码获得原始数据。

基础知识 - Golang 中的格式化输入输出

【格式化输出】

// 格式化输出:将 arg 列表中的 arg 转换为字符串输出

// 使用动词 v 格式化 arg 列表,非字符串元素之间添加空格

Print(arg列表)

// 使用动词 v 格式化 arg 列表,所有元素之间添加空格,结尾添加换行符

Println(arg列表)

// 使用格式字符串格式化 arg 列表

Printf(格式字符串, arg列表)

// Print 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串由普通字符和占位符组成,例如:

"abc%+ #8.3[3]vdef"

其中 abc 和 def 是普通字符,其它部分是占位符,占位符以 % 开头(注:%% 将被转义为一个普通的 % 符号,这个不算开头),以动词结尾,格式如下:

%[旗标][宽度][.精度][arg索引]动词

方括号中的内容可以省略。

【旗标】

旗标有以下几种:

空格:对于数值类型的正数,保留一个空白的符号位(其它用法在动词部分说明)。

0 :用 0 进行宽度填充而不用空格,对于数值类型,符号将被移到所有 0 的前面。

其中 "0" 和 "-" 不能同时使用,优先使用 "-" 而忽略 "0"。

【宽度和精度】

“宽度”和“精度”都可以写成以下三种形式:

数值 | * | arg索引*

其中“数值”表示使用指定的数值作为宽度值或精度值,“ ”表示使用当前正在处理的 arg 的值作为宽度值或精度值,如果这样的话,要格式化的 arg 将自动跳转到下一个。“arg索引 ”表示使用指定 arg 的值作为宽度值或精度值,如果这样的话,要格式化的 arg 将自动跳转到指定 arg 的下一个。

宽度值:用于设置最小宽度。

精度值:对于浮点型,用于控制小数位数,对于字符串或字节数组,用于控制字符数量(不是字节数量)。

对于浮点型而言,动词 g/G 的精度值比较特殊,在适当的情况下,g/G 会设置总有效数字,而不是小数位数。

【arg 索引】

“arg索引”由中括号和 arg 序号组成(就像上面示例中的 [3]),用于指定当前要处理的 arg 的序号,序号从 1 开始:

'[' + arg序号 + ']'

【动词】

“动词”不能省略,不同的数据类型支持的动词不一样。

[通用动词]

v:默认格式,不同类型的默认格式如下:

布尔型:t

整 型:d

浮点型:g

复数型:g

字符串:s

通 道:p

指 针:p

无符号整型:x

T:输出 arg 的类型而不是值(使用 Go 语法格式)。

[布尔型]

t:输出 true 或 false 字符串。

[整型]

b/o/d:输出 2/8/10 进制格式

x/X :输出 16 进制格式(小写/大写)

c :输出数值所表示的 Unicode 字符

q :输出数值所表示的 Unicode 字符(带单引号)。对于无法显示的字符,将输出其转义字符。

U :输出 Unicode 码点(例如 U+1234,等同于字符串 "U+%04X" 的显示结果)

对于 o/x/X:

如果使用 "#" 旗标,则会添加前导 0 或 0x。

对于 U:

如果使用 "#" 旗标,则会在 Unicode 码点后面添加相应的 '字符'(前提是该字符必须可显示)

[浮点型和复数型]

b :科学计数法(以 2 为底)

e/E:科学计数法(以 10 为底,小写 e/大写 E)

f/F:普通小数格式(两者无区别)

g/G:大指数(指数 = 6)使用 %e/%E,其它情况使用 %f/%F

[字符串或字节切片]

s :普通字符串

q :双引号引起来的 Go 语法字符串

x/X:十六进制编码(小写/大写,以字节为元素进行编码,而不是字符)

对于 q:

如果使用了 "+" 旗标,则将所有非 ASCII 字符都进行转义处理。

如果使用了 "#" 旗标,则输出反引号引起来的字符串(前提是

字符串中不包含任何制表符以外的控制字符,否则忽略 # 旗标)

对于 x/X:

如果使用了 " " 旗标,则在每个元素之间添加空格。

如果使用了 "#" 旗标,则在十六进制格式之前添加 0x 前缀。

[指针类型]

p :带 0x 前缀的十六进制地址值。

[符合类型]

复合类型将使用不同的格式输出,格式如下:

结 构 体:{字段1 字段2 ...}

数组或切片:[元素0 元素1 ...]

映 射:map[键1:值1 键2:值2 ...]

指向符合元素的指针:{}, [], map[]

复合类型本身没有动词,动词将应用到复合类型的元素上。

结构体可以使用 "+v" 同时输出字段名。

【注意】

1、如果 arg 是一个反射值,则该 arg 将被它所持有的具体值所取代。

2、如果 arg 实现了 Formatter 接口,将调用它的 Format 方法完成格式化。

3、如果 v 动词使用了 # 旗标(%#v),并且 arg 实现了 GoStringer 接口,将调用它的 GoString 方法完成格式化。

如果格式化操作指定了字符串相关的动词(比如 %s、%q、%v、%x、%X),接下来的两条规则将适用:

4。如果 arg 实现了 error 接口,将调用它的 Error 方法完成格式化。

5。如果 arg 实现了 string 接口,将调用它的 String 方法完成格式化。

在实现格式化相关接口的时候,要避免无限递归的情况,比如:

type X string

func (x X) String() string {

return Sprintf("%s", x)

}

在格式化之前,要先转换数据类型,这样就可以避免无限递归:

func (x X) String() string {

return Sprintf("%s", string(x))

}

无限递归也可能发生在自引用数据类型上面,比如一个切片的元素引用了切片自身。这种情况比较罕见,比如:

a := make([]interface{}, 1)

a[0] = a

fmt.Println(a)

【格式化输入】

// 格式化输入:从输入端读取字符串(以空白分隔的值的序列),

// 并解析为具体的值存入相应的 arg 中,arg 必须是变量地址。

// 字符串中的连续空白视为单个空白,换行符根据不同情况处理。

// \r\n 被当做 \n 处理。

// 以动词 v 解析字符串,换行视为空白

Scan(arg列表)

// 以动词 v 解析字符串,换行结束解析

Scanln(arg列表)

// 根据格式字符串中指定的格式解析字符串

// 格式字符串中的换行符必须和输入端的换行符相匹配。

Scanf(格式字符串, arg列表)

// Scan 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串类似于 Printf 中的格式字符串,但下面的动词和旗标例外:

p :无效

T :无效

e/E/f/F/g/G:功能相同,都是扫描浮点数或复数

s/v :对字符串而言,扫描一个被空白分隔的子串

对于整型 arg 而言,v 动词可以扫描带有前导 0 或 0x 的八进制或十六进制数值。

宽度被用来指定最大扫描宽度(不会跨越空格),精度不被支持。

如果 arg 实现了 Scanner 接口,将调用它的 Scan 方法扫描相应数据。只有基础类型和实现了 Scanner 接口的类型可以使用 Scan 类方法进行扫描。

【注意】

连续调用 FScan 可能会丢失数据,因为 FScan 中使用了 UnreadRune 对读取的数据进行撤销,而参数 io.Reader 只有 Read 方法,不支持撤销。比如:

(十一)golang 内存分析

编写过C语言程序的肯定知道通过malloc()方法动态申请内存,其中内存分配器使用的是glibc提供的ptmalloc2。 除了glibc,业界比较出名的内存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免内存碎片和性能上均比glic有比较大的优势,在多线程环境中效果更明显。

Golang中也实现了内存分配器,原理与tcmalloc类似,简单的说就是维护一块大的全局内存,每个线程(Golang中为P)维护一块小的私有内存,私有内存不足再从全局申请。另外,内存分配与GC(垃圾回收)关系密切,所以了解GC前有必要了解内存分配的原理。

为了方便自主管理内存,做法便是先向系统申请一块内存,然后将内存切割成小块,通过一定的内存分配算法管理内存。 以64位系统为例,Golang程序启动时会向系统申请的内存如下图所示:

预申请的内存划分为spans、bitmap、arena三部分。其中arena即为所谓的堆区,应用中需要的内存从这里分配。其中spans和bitmap是为了管理arena区而存在的。

arena的大小为512G,为了方便管理把arena区域划分成一个个的page,每个page为8KB,一共有512GB/8KB个页;

spans区域存放span的指针,每个指针对应一个page,所以span区域的大小为(512GB/8KB)乘以指针大小8byte = 512M

bitmap区域大小也是通过arena计算出来,不过主要用于GC。

span是用于管理arena页的关键数据结构,每个span中包含1个或多个连续页,为了满足小对象分配,span中的一页会划分更小的粒度,而对于大对象比如超过页大小,则通过多页实现。

根据对象大小,划分了一系列class,每个class都代表一个固定大小的对象,以及每个span的大小。如下表所示:

上表中每列含义如下:

class: class ID,每个span结构中都有一个class ID, 表示该span可处理的对象类型

bytes/obj:该class代表对象的字节数

bytes/span:每个span占用堆的字节数,也即页数乘以页大小

objects: 每个span可分配的对象个数,也即(bytes/spans)/(bytes/obj)waste

bytes: 每个span产生的内存碎片,也即(bytes/spans)%(bytes/obj)上表可见最大的对象是32K大小,超过32K大小的由特殊的class表示,该class ID为0,每个class只包含一个对象。

span是内存管理的基本单位,每个span用于管理特定的class对象, 跟据对象大小,span将一个或多个页拆分成多个块进行管理。src/runtime/mheap.go:mspan定义了其数据结构:

以class 10为例,span和管理的内存如下图所示:

spanclass为10,参照class表可得出npages=1,nelems=56,elemsize为144。其中startAddr是在span初始化时就指定了某个页的地址。allocBits指向一个位图,每位代表一个块是否被分配,本例中有两个块已经被分配,其allocCount也为2。next和prev用于将多个span链接起来,这有利于管理多个span,接下来会进行说明。

有了管理内存的基本单位span,还要有个数据结构来管理span,这个数据结构叫mcentral,各线程需要内存时从mcentral管理的span中申请内存,为了避免多线程申请内存时不断的加锁,Golang为每个线程分配了span的缓存,这个缓存即是cache。src/runtime/mcache.go:mcache定义了cache的数据结构

alloc为mspan的指针数组,数组大小为class总数的2倍。数组中每个元素代表了一种class类型的span列表,每种class类型都有两组span列表,第一组列表中所表示的对象中包含了指针,第二组列表中所表示的对象不含有指针,这么做是为了提高GC扫描性能,对于不包含指针的span列表,没必要去扫描。根据对象是否包含指针,将对象分为noscan和scan两类,其中noscan代表没有指针,而scan则代表有指针,需要GC进行扫描。mcache和span的对应关系如下图所示:

mchache在初始化时是没有任何span的,在使用过程中会动态的从central中获取并缓存下来,跟据使用情况,每种class的span个数也不相同。上图所示,class 0的span数比class1的要多,说明本线程中分配的小对象要多一些。

cache作为线程的私有资源为单个线程服务,而central则是全局资源,为多个线程服务,当某个线程内存不足时会向central申请,当某个线程释放内存时又会回收进central。src/runtime/mcentral.go:mcentral定义了central数据结构:

lock: 线程间互斥锁,防止多线程读写冲突

spanclass : 每个mcentral管理着一组有相同class的span列表

nonempty: 指还有内存可用的span列表

empty: 指没有内存可用的span列表

nmalloc: 指累计分配的对象个数线程从central获取span步骤如下:

将span归还步骤如下:

从mcentral数据结构可见,每个mcentral对象只管理特定的class规格的span。事实上每种class都会对应一个mcentral,这个mcentral的集合存放于mheap数据结构中。src/runtime/mheap.go:mheap定义了heap的数据结构:

lock: 互斥锁

spans: 指向spans区域,用于映射span和page的关系

bitmap:bitmap的起始地址

arena_start: arena区域首地址

arena_used: 当前arena已使用区域的最大地址

central: 每种class对应的两个mcentral

从数据结构可见,mheap管理着全部的内存,事实上Golang就是通过一个mheap类型的全局变量进行内存管理的。mheap内存管理示意图如下:

系统预分配的内存分为spans、bitmap、arean三个区域,通过mheap管理起来。接下来看内存分配过程。

针对待分配对象的大小不同有不同的分配逻辑:

(0, 16B) 且不包含指针的对象: Tiny分配

(0, 16B) 包含指针的对象:正常分配

[16B, 32KB] : 正常分配

(32KB, -) : 大对象分配其中Tiny分配和大对象分配都属于内存管理的优化范畴,这里暂时仅关注一般的分配方法。

以申请size为n的内存为例,分配步骤如下:

Golang内存分配是个相当复杂的过程,其中还掺杂了GC的处理,这里仅仅对其关键数据结构进行了说明,了解其原理而又不至于深陷实现细节。1、Golang程序启动时申请一大块内存并划分成spans、bitmap、arena区域

2、arena区域按页划分成一个个小块。

3、span管理一个或多个页。

4、mcentral管理多个span供线程申请使用

5、mcache作为线程私有资源,资源来源于mcentral。

Go 语言三色标记扫描对象是 DFS 还是 BFS?

最近在看左神新书 《Go 语言设计与实现》的垃圾收集器时产生一个疑惑,花了点时间搞清楚了记录一下。

Go 语言垃圾回收的实现使用了标记清除算法,将对象的状态抽象成黑色(活跃对象)、灰色(活跃对象中间状态)、白色(潜在垃圾对象也是所有对象的默认状态)三种,注意没有具体的字段标记颜色。

整个标记过程就是把白色对象标黑的过程:

1.首先将 ROOT 根对象(包括全局变量、goroutine 栈上的对象等)放入到灰色集合

2.选一个灰色对象,标成黑色,将所有可达的子对象放入到灰色集合

3.重复2的步骤,直到灰色集合中为空

下图是书上的插图,看上去是一个典型的深度优先搜索的算法。

下图是刘丹冰写的《Golang 修养之路》的插图,看上去是一个典型的广度优先搜索的算法。

我疑惑的点在于这个标记过程是深度优先算法还是广度优先算法,因为很多文章博客对此都没有很清楚的说明,作为学习者这种细节其实也不影响对整个 GC 流程的理解,但是这种细节我非常喜欢扣:)

对着书和源码摸索着大致找到了一个结果是深度优先。下面看下大致的过程,源码基于1.15.2版本:

gcStart 是 Go 语言三种条件触发 GC 的共同入口

启动后台标记任务

为每个处理器创建用于执行后台标记任务的 Goroutine

上面休眠的 G 会在调度循环中检查并唤醒执行

执行标记

gcw 是每个 P 独有的所以不用担心并发的问题 和 GMP、mcache 一样设计,减少锁竞争

尝试在全局列表中获取一个不为空的 buf

这是官方实现的无锁队列:)涨见识了,for 循环加原子操作实现栈的 pop

到这里从灰色集合中获取待扫描的对象逻辑说完了。找到对象了接着就是 scanobject(b, gcw) 了,里面有两段逻辑要注意

根据索引位置找到对象进行标色

尝试存入 gcwork 的缓存中,或全局队列中

无锁队列,for 循环加原子操作实现栈的 push

到这里把灰色对象标黑就完成了,又放回灰色集合接着扫下一个指针。

Go 语言设计与实现 垃圾收集器

Golang三色标记+混合写屏障GC模式全分析

golang mysql Scan操作按顺序取值问题

rows, err := db.Query("SELECT * FROM user")

checkErr(err)

for rows.Next() {

var userId int

var userName string

var userAge int

var userSex int

rows.Columns()

err = rows.Scan(userId, userName, userAge, userSex)

checkErr(err)

fmt.Println(userId)

fmt.Println(userName)

fmt.Println(userAge)

fmt.Println(userSex)

}

Golang 指针和结构体

于c语言相同,go中也有指针和结构体的概念。指针表示变量的内存地址,结构体用来存储同一类型的数据。

定义一个指针变量,将变量a的地址赋给指针变量p。这样,指针变量p也就指向了变量a所在的内容空间。

new 函数返回一个指针变量

fmt.scan() 就是传入一个指针变量。

两种方法都可以使用。

以上简要介绍了go语言中的指针和结构体。


网站名称:go语言的scan,go语言的缺点
文章URL:http://scyanting.com/article/dsgeied.html