Python 多进程内存占用问题

当我们有一个很长很长的任务队列(mission_list)和阈值对应的一个处理函数(missionFunction)时，我们一般采用如下的方式进行处理：

创新互联公司服务项目包括贵南网站建设、贵南网站制作、贵南网页制作以及贵南网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，贵南网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到贵南省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

但是，如果这任务列表很长很长，处理函数很复杂(占用cpu)时，单核往往需要很长的时间进行处理，此时，Multiprocess便可以极大的提高我们程序的运行速度，相关内容请借鉴 multiprocessing --- 基于进程的并行 — Python 3.10.4 文档。

以上这种场景下，推荐大家采用最简单的进程池+map的方法进行处理，标准的写法， chunksize要借鉴官方的说法，最好大一点 ：

但是！！！！ 如果我们的任务列表非常的长，这会导致多进程还没跑起来之前，内存已经撑爆了，任务自然没法完成，此时我们有几种办法进行优化：

进程的启动方法有三种，可参考官方文档：

[图片上传失败...(image-48cd3c-1650511153989)]

在linux环境下，使用forkserver可以节省很多的内存空间， 因为进程启动的是一个服务，不会把主进程的数据全部复制

采用imap会极大的节省空间，它返回的是一个迭代器，也就是结果列表：

但注意，以上写法中，你写的结果迭代部分必须写在with下面。或者采用另一种写法：

还有最后一种，当你的mission list实在太大了，导致你在生成 mission list的时候已经把内存撑爆了，这个时候就得优化 mission_list了，如果你的mission_list是通过一个for循环生成的，你可以使用yield字段，将其封装为一个迭代器，传入进程池：

这样子，我们就封装好了mission_list，它是一个可迭代对象，在取数据的时候才会将数据拉到内存

我在项目中结合了后两种方法，原本256G的内存都不够用，但在修改后内存只占用了不到10G。希望能够帮助到你

python为何会内存超限，应该怎么改？

分区表错误是硬盘的严重错误，不同错误的程度会造成不同的损失。如果是没有活动分区标志，则计算机无法启动。但从软区或光区引导系统后可对硬盘读写，可通过fdisk重置活动分区进行修复。如果是某一分区类型错误，可造成某一分区的丢失。分区表的第四个字节为分区类型值，正常的可引导的大于32mb的基本DOS分区值为06，而扩展的DOS分区值是05。如果把基本DOS分区类型改为05则无法启动系统 ，并且不能读写其中的数据。如果把06改为DOS不识别的类型如efh，则DOS认为改分区不是 DOS分区，当然无法读写。很多人利用此类型值实现单个分区的加密技术，恢复原来的正确类型值即可使该分区恢复正常。分区表中还有其他数据用于纪录分区的起始或终止地址。这些数据的损坏将造成该分区的混乱或丢失，一般无法进行手工恢复，唯一的方法是用备份的分区表数据重新写回，或者从其他的相同类型的并且分区状况相同的硬盘上获取分区表数据，否则将导致其他的数据永久的丢失。在对主引导扇区进行操作时，可采用nu等工具软件，操作非常的方便，可直接对硬盘主引导扇区进行读写或编辑。当然也可采用de

7种检测Python程序运行时间、CPU和内存占用的方法

1. 使用装饰器来衡量函数执行时间

有一个简单方法，那就是定义一个装饰器来测量函数的执行时间，并输出结果：

import time

from functoolsimport wraps

import random

def fn_timer(function):

@wraps(function)

def function_timer(*args, **kwargs):

  t0= time.time()

  result= function(*args, **kwargs)

  t1= time.time()

  print("Total time running %s: %s seconds" %

      (function.__name__, str(t1- t0))

)

  return result

return function_timer

@fn_timer

def random_sort(n):

return sorted([random.random() for i in range(n)])

if __name__== "__main__":

random_sort(2000000)

输出：Total time running random_sort: 0.6598007678985596 seconds

使用方式的话，就是在要监控的函数定义上面加上 @fn_timer 就行了

或者

# 可监控程序运行时间

import time

import random

def clock(func):

def wrapper(*args, **kwargs):

    start_time= time.time()

    result= func(*args, **kwargs)

    end_time= time.time()

    print("共耗时: %s秒" % round(end_time- start_time, 5))

    return result

return wrapper

@clock

def random_sort(n):

return sorted([random.random() for i in range(n)])

if __name__== "__main__":

random_sort(2000000)

输出结果：共耗时: 0.65634秒

2. 使用timeit模块

另一种方法是使用timeit模块，用来计算平均时间消耗。

执行下面的脚本可以运行该模块。

这里的timing_functions是Python脚本文件名称。

在输出的末尾，可以看到以下结果：4 loops, best of 5: 2.08 sec per loop

这表示测试了4次，平均每次测试重复5次，最好的测试结果是2.08秒。

如果不指定测试或重复次数，默认值为10次测试，每次重复5次。

3. 使用Unix系统中的time命令

然而，装饰器和timeit都是基于Python的。在外部环境测试Python时，unix time实用工具就非常有用。

运行time实用工具：

输出结果为：

Total time running random_sort: 1.3931210041 seconds

real 1.49

user 1.40

sys 0.08

第一行来自预定义的装饰器，其他三行为：

real表示的是执行脚本的总时间

user表示的是执行脚本消耗的CPU时间。

sys表示的是执行内核函数消耗的时间。

注意：根据维基百科的定义，内核是一个计算机程序，用来管理软件的输入输出，并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。

因此，Real执行时间和User+Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。

4. 使用cProfile模块

5. 使用line_profiler模块

6. 使用memory_profiler模块

7. 使用guppy包

网页名称：python函数占用内存 python 内存占用
网站地址：http://scyanting.com/article/hijgsj.html