Python实时检测自身内存占用的方法-创新互联

这篇文章主要讲解了Python实时检测自身内存占用的方法，内容清晰明了，对此有兴趣的小伙伴可以学习一下，相信大家阅读完之后会有帮助。

前言

最近在做文本统计，用 Python 实现，遇到了一个比较有意思的难题——如何保存统计结果。

直接写入内存实在是放不下，十几个小时后内存耗尽，程序被迫关闭。如果直接写入数据库吧，每次写入又太慢了，本来就十几个小时了，这样下去就要往星期上数了，也不是个办法。

解决方案

最后，我想到了一个两者兼顾的方案——用内存做缓冲，达到一定量之后一次性将当前所有数据合并到硬盘里。

但这样就有一个阈值，如何确定同步硬盘的时机，通常可以按照文件粒度进行处理，比如处理一个语料文件同步一次……但我的语料有大有小，大的有10GB，根本等不到那一刻内存就爆炸了，后来我想用统计数据量进行判断……可这又有点难以估计，小了吧频繁写入，缓存的意义就不大了，大了吧还没等到条目数量达到，内存就已经爆满。另外考虑到将来程序会运行在不同配置的设备上，让其他开发者根据自身情况计算这个阈值也有点太不友好，于是我想到了一个办法——不如让 Python 自己检测自己的内存占用，如果快满了（或者达到阈值），就同步写入硬盘一次。

对于其他开发者来说，自身设备的内存多大是很容易查看的，根据系统运行状况设置一个合理的阈值，相当方便。

要用 Python 监控自身内存占用，要使用 psutil 这个库来和系统进行交互，基本逻辑就是先拿到自己的 pid ，然后根据这个 pid 去跟系统获取进程信息。

def get_current_memory_gb() -> int:
# 获取当前进程内存占用。
pid = os.getpid()
p = psutil.Process(pid)
info = p.memory_full_info()
return info.uss / 1024. / 1024. / 1024.