【golang】高并发下TCP常见问题解决方案

首先，看一下TCP握手简单描绘过程：

成都创新互联-专业网站定制、快速模板网站建设、高性价比汝南网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式汝南网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖汝南地区。费用合理售后完善，10年实体公司更值得信赖。

其握手过程原理，就不必说了，有很多详细文章进行叙述，本文只关注研究重点。

在第三次握手过程中，如果服务器收到ACK，就会与客户端建立连接，此时内核会把连接从半连接队列移除，然后创建新的连接，并将其添加到全连接队列，等待进程调用。

如果服务器繁忙，来不及调用连接导致全连接队列溢出，服务器就会放弃当前握手连接，发送RST给客户端，即connection reset by peer。

在linux平台上，客户端在进行高并发TCP连接处理时，最高并发数量都要受系统对用户单一进程同时打开文件数量的限制（这是因为系统每个TCP都是SOCKET句柄，每个soker句柄都是一个文件），当打开连接超过限制，就会出现too many open files。

使用下指令查看最大句柄数量：

增加句柄解决方案

TCP那些事儿

目录：

以前我也认为TCP是相当底层的东西，我永远不需要去了解它。虽然差不多是这样，但是实际生活中，你依然可能遇见和TCP算法相关的bug，这时候懂一些TCP的知识就至关重要了。（ 本文也可以引申为，系统调用，操作系统这些都很重要，这个道理适用于很多东西 ）

这里推荐一篇小短文， 人人都应该懂点TCP

使用TCP协议通信的双方必须先建立TCP连接，并在内核中为该连接维持一些必要的数据结构，比如连接的状态、读写缓冲区、定时器等。当通信结束时，双方必须关闭连接以释放这些内核数据。TCP服务基于流，源源不断从一端流向另一端，发送端可以逐字节写入，接收端可以逐字节读出，无需分段。

需要注意的几点：

TCP状态（11种）：

eg.

以上为TCP三次握手的状态变迁

以下为TCP四次挥手的状态变迁

服务器通过 listen 系统调用进入 LISTEN 状态，被动等待客户端连接，也就是所谓的被动打开。一旦监听到SYN（同步报文段）请求，就将该连接放入内核的等待队列，并向客户端发送带SYN的ACK（确认报文段），此时该连接处于 SYN_RECVD 状态。如果服务器收到客户端返回的ACK，则转到 ESTABLISHED 状态。这个状态就是连接双方能进行全双工数据传输的状态。

而当客户端主动关闭连接时，服务器收到FIN报文，通过返回ACK使连接进入 CLOSE_WAIT 状态。此状态表示——等待服务器应用程序关闭连接。通常，服务器检测到客户端关闭连接之后，也会立即给客户端发送一个FIN来关闭连接，使连接转移到 LAST_ACK 状态，等待客户端对最后一个FIN结束报文段的最后一次确认，一旦确认完成，连接就彻底关闭了。

客户端通过 connect 系统调用主动与服务器建立连接。此系统调用会首先给服务器发一个SYN，使连接进入 SYN_SENT 状态。

connect 调用可能因为两种原因失败：1. 目标端口不存在（未被任何进程监听）护着该端口被 TIME_WAIT 状态的连接占用（ 详见后文 ）。2. 连接超时，在超时时间内未收到服务器的ACK。

如果 connect 调用失败，则连接返回初始的 CLOSED 状态，如果调用成功，则转到 ESTABLISHED 状态。

客户端执行主动关闭时，它会向服务器发送一个FIN，连接进入 TIME_WAIT_1 状态，如果收到服务器的ACK，进入 TIME_WAIT_2 状态。此时服务器处于 CLOSE_WAIT 状态，这一对状态是可能发生办关闭的状态（详见后文）。此时如果服务器发送FIN关闭连接，则客户端会发送ACK进行确认并进入 TIME_WAIT 状态。

流量控制是为了控制发送方发送速率，保证接收方来得及接收。

接收方发送的确认报文中的窗口字段可以用来控制发送方窗口大小，从而影响发送方的发送速率。将窗口字段设置为 0，则发送方不能发送数据。

如果网络出现拥塞，分组将会丢失，此时发送方会继续重传，从而导致网络拥塞程度更高。因此当出现拥塞时，应当控制发送方的速率。这一点和流量控制很像，但是出发点不同。 流量控制是为了让接收方能来得及接收，而拥塞控制是为了降低整个网络的拥塞程度。

TCP 主要通过四种算法来进行拥塞控制： 慢开始、拥塞避免、快重传、快恢复。

在Linux下有多种实现，比如reno算法，vegas算法和cubic算法等。

发送方需要维护一个叫做拥塞窗口（cwnd）的状态变量，注意拥塞窗口与发送方窗口的区别：拥塞窗口只是一个状态变量，实际决定发送方能发送多少数据的是发送方窗口。

为了便于讨论，做如下假设：

发送的最初执行慢开始，令 cwnd=1，发送方只能发送 1 个报文段；当收到确认后，将 cwnd 加倍，因此之后发送方能够发送的报文段数量为：2、4、8 ...

注意到慢开始每个轮次都将 cwnd 加倍，这样会让 cwnd 增长速度非常快，从而使得发送方发送的速度增长速度过快，网络拥塞的可能也就更高。设置一个慢开始门限 ssthresh，当 cwnd = ssthresh 时，进入拥塞避免，每个轮次只将 cwnd 加 1。

如果出现了超时，则令 ssthresh = cwnd/2，然后重新执行慢开始。

在接收方，要求每次接收到报文段都应该对最后一个已收到的有序报文段进行确认。例如已经接收到 M1 和 M2，此时收到 M4，应当发送对 M2 的确认。

在发送方，如果收到三个重复确认，那么可以知道下一个报文段丢失，此时执行快重传，立即重传下一个报文段。例如收到三个 M2，则 M3 丢失，立即重传 M3。

在这种情况下，只是丢失个别报文段，而不是网络拥塞。因此执行快恢复，令 ssthresh = cwnd/2 ，cwnd = ssthresh，注意到此时直接进入拥塞避免。

慢开始和快恢复的快慢指的是 cwnd 的设定值，而不是 cwnd 的增长速率。慢开始 cwnd 设定为 1，而快恢复 cwnd 设定为 ssthresh。

  发送端的每个TCP报文都必须得到接收方的应答，才算传输成功。

  TCP为每个TCP报文段都维护一个重传定时器。

  发送端在发出一个TCP报文段之后就启动定时器，如果在定时时间类未收到应答，它就将重发该报文段并重置定时器。

  因为TCP报文段最终在网络层是以IP数据报的形式发送，而IP数据报到达接收端可能是乱序或者重复的。TCP协议会对收到的TCP报文进行重排、整理，确保顺序正确。

TCP报文段所携带的应用程序数据按照长度分为两种： 交互数据 和 成块数据

对于什么是粘包、拆包问题，我想先举两个简单的应用场景：

对于第一种情况，服务端的处理流程可以是这样的：当客户端与服务端的连接建立成功之后，服务端不断读取客户端发送过来的数据，当客户端与服务端连接断开之后，服务端知道已经读完了一条消息，然后进行解码和后续处理...。对于第二种情况，如果按照上面相同的处理逻辑来处理，那就有问题了，我们来看看 第二种情况 下客户端发送的两条消息递交到服务端有可能出现的情况：

第一种情况：

服务端一共读到两个数据包，第一个包包含客户端发出的第一条消息的完整信息，第二个包包含客户端发出的第二条消息，那这种情况比较好处理，服务器只需要简单的从网络缓冲区去读就好了，第一次读到第一条消息的完整信息，消费完再从网络缓冲区将第二条完整消息读出来消费。

第二种情况：

服务端一共就读到一个数据包，这个数据包包含客户端发出的两条消息的完整信息，这个时候基于之前逻辑实现的服务端就蒙了，因为服务端不知道第一条消息从哪儿结束和第二条消息从哪儿开始，这种情况其实是发生了TCP粘包。

第三种情况：

服务端一共收到了两个数据包，第一个数据包只包含了第一条消息的一部分，第一条消息的后半部分和第二条消息都在第二个数据包中，或者是第一个数据包包含了第一条消息的完整信息和第二条消息的一部分信息，第二个数据包包含了第二条消息的剩下部分，这种情况其实是发送了TCP拆，因为发生了一条消息被拆分在两个包里面发送了，同样上面的服务器逻辑对于这种情况是不好处理的。

我们知道tcp是以流动的方式传输数据，传输的最小单位为一个报文段（segment）。tcp Header中有个Options标识位，常见的标识为mss(Maximum Segment Size)指的是，连接层每次传输的数据有个最大限制MTU(Maximum Transmission Unit)，一般是1500比特，超过这个量要分成多个报文段，mss则是这个最大限制减去TCP的header，光是要传输的数据的大小，一般为1460比特。换算成字节，也就是180多字节。

tcp为提高性能，发送端会将需要发送的数据发送到缓冲区，等待缓冲区满了之后，再将缓冲中的数据发送到接收方。同理，接收方也有缓冲区这样的机制，来接收数据。

发生TCP粘包、拆包主要是由于下面一些原因：

既然知道了tcp是无界的数据流，且协议本身无法避免粘包，拆包的发生，那我们只能在应用层数据协议上，加以控制。通常在制定传输数据时，可以使用如下方法：

写了一个简单的 golang 版的tcp服务器实例，仅供参考：

例子

参考和推荐阅读书目：

注释：

eg.

在 Go 中实现一个支持并发的 TCP 服务端

TCP 和 UDP 服务端随处可见，它们基于 TCP/IP 协议栈，通过网络为客户端提供服务。在这篇文章中，我将介绍如何使用 Go 语言开发一个用于返回随机数、支持并发的 TCP 服务端。对于每一个来自 TCP 客户端的连接，它都会启动一个新的 goroutine（轻量级线程）来处理相应的请求。

你可以在 GitHub 上找到本项目的源码：concTcp.go。

这个程序的主要逻辑在 handleConnection 函数中，具体实现如下：

在 main 函数的实现部分，每当 TCP 服务端收到 TCP 客户端的连接请求，它都会启动一个新的 goroutine 来为这个请求提供服务。

首先， main 确保程序至少有一个命令行参数。注意，现有代码并没有检查这个参数是否为有效的 TCP 端口号。不过，如果它是一个无效的 TCP 端口号， net.Listen 就会调用失败，并返回一个错误信息，类似下面这样：

net.Listen 函数用于告诉 Go 接受网络连接，因而承担了服务端的角色。它的返回值类型是 net.Conn ，后者实现了 io.Reader 和 io.Writer 接口。此外， main 函数中还调用了 rand.Seed 函数，用于初始化随机数生成器。最后， for 循环允许程序一直使用 Accept 函数来接受 TCP 客户端的连接请求，并以 goroutine 的方式来运行 handleConnection(c) 函数，处理客户端的后续请求。

net.Listen 函数的第一个参数定义了使用的网络类型，而第二个参数定义了服务端监听的地址和端口号。第一个参数的有效值为 tcp 、 tcp4 、 tcp6 、 udp 、 udp4 、 udp6 、 ip 、 ip4 、 ip6 、 Unix （Unix 套接字）、 Unixgram 和 Unixpacket ，其中： tcp4 、 udp4 和 ip4 只接受 IPv4 地址，而 tcp6 、 udp6 和 ip6 只接受 IPv6 地址。

concTCP.go 需要一个命令行参数，来指定监听的端口号。当它开始服务 TCP 客户端时，你会得到类似下面的输出：

netstat 的输出可以确认 congTCP.go 正在为多个 TCP 客户端提供服务，并且仍在继续监听建立连接的请求：

在上面输出中，最后一行显示了有一个进程正在监听 8001 端口，这意味着你可以继续连接 TCP 的 8001 端口。第一行和第二行显示了有一个已建立的 TCP 网络连接，它占用了 8001 和 62556 端口。相似地，第三行和第四行显示了有另一个已建立的 TCP 连接，它占用了 8001 和 62554 端口。

下面这张图片显示了 concTCP.go 在服务多个 TCP 客户端时的输出：

类似地，下面这张图片显示了两个 TCP 客户端的输出（使用了 nc 工具）：

你可以在 维基百科上找到更多关于 nc （即 netcat ）的信息。

现在，你学会了如何用大约 65 行 Go 代码来开发一个生成随机数、支持并发的 TCP 服务端，这真是太棒了！如果你想要让你的 TCP 服务端执行别的任务，只需要修改 handleConnection 函数即可。

via:

作者：Mihalis Tsoukalos选题：lkxed译者：lkxed校对：wxy

go语言编写的tcp服务器代码在cmd中运行怎么终止

ps -eo pid,cmd | grep 程序的名称

获得其pid

kill pid

或者

killall 程序名称

网站标题：go语言tcp服务端,go语言socket
标题路径：http://scyanting.com/article/hojdjj.html