memory-management gil - Python進程使用的內存總數?





io (9)


下面是我的函數裝飾器,它允許跟踪函數調用之前該進程消耗了多少內存,函數調用之後使用了多少內存以及函數執行了多長時間。

import time
import os
import psutil


def elapsed_since(start):
    return time.strftime("%H:%M:%S", time.gmtime(time.time() - start))


def get_process_memory():
    process = psutil.Process(os.getpid())
    return process.get_memory_info().rss


def track(func):
    def wrapper(*args, **kwargs):
        mem_before = get_process_memory()
        start = time.time()
        result = func(*args, **kwargs)
        elapsed_time = elapsed_since(start)
        mem_after = get_process_memory()
        print("{}: memory before: {:,}, after: {:,}, consumed: {:,}; exec time: {}".format(
            func.__name__,
            mem_before, mem_after, mem_after - mem_before,
            elapsed_time))
        return result
    return wrapper

所以,當你有一些功能裝飾它

from utils import track

@track
def list_create(n):
    print("inside list create")
    x = [1] * n
    return x

你將能夠看到這個輸出:

inside list create
list_create: memory before: 45,928,448, after: 46,211,072, consumed: 282,624; exec time: 00:00:00

有沒有一種方法可以讓Python程序確定當前使用的內存量? 我已經看到關於單個對象的內存使用情況的討論,但我需要的是該進程的全部內存使用情況,以便我可以確定何時需要開始丟棄緩存的數據。




我喜歡it ,感謝@bayer。 我現在得到一個特定的流程統計工具。

# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB

# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB

附上我的進程列表。

$ ps aux  | grep python
root       943  0.0  0.1  53252  9524 ?        Ss   Aug19  52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root       950  0.6  0.4 299680 34220 ?        Sl   Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root      3803  0.2  0.4 315692 36576 ?        S    12:43   0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny    23325  0.0  0.1  47460  9076 pts/0    S+   17:40   0:00 python
jonny    24651  0.0  0.0  13076   924 pts/4    S+   18:06   0:00 grep python

參考




在unix上,你可以使用ps工具來監控它:

$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'

其中1347是一些進程ID。 此外,結果以MB為單位。




han = win32api.OpenProcess(win32con.PROCESS_QUERY_INFORMATION|win32con.PROCESS_VM_READ, 0, os.getpid())
process_memory = int(win32process.GetProcessMemoryInfo(han)['WorkingSetSize'])



對於Unix(Linux,Mac OS X,Solaris),您也可以使用標準庫模塊resourcegetrusage()函數。 結果對象具有ru_maxrss屬性,該屬性為調用進程提供峰值內存使用量:

>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656 # peak memory usage (bytes on OS X, kilobytes on Linux)

Python文檔並不清楚單元是什麼,但用於getrusage(2)Mac OS X手冊頁將單元描述為字節 。 Linux手冊頁並不清楚,但它似乎相當於/proc/self/status千字節)中的信息

getrusage()函數也可以被賦予resource.RUSAGE_CHILDREN以獲取子進程的用法,以及(在某些系統上) resource.RUSAGE_BOTH用於總(自我和子)進程的使用。

resource是一個標準的庫模塊。

如果你只關心Linux,你可以按照類似的問題來查看/proc/self/status文件。




Heapy (和朋友)可能是你正在尋找的東西。

另外,高速緩存通常在其大小上有一個固定的上限,以解決您所討論的問題。 例如,檢查這個LRU緩存修飾器




在Windows上,您可以使用WMI( 主頁cheeseshop ):


def memory():
    import os
    from wmi import WMI
    w = WMI('.')
    result = w.query("SELECT WorkingSet FROM Win32_PerfRawData_PerfProc_Process WHERE IDProcess=%d" % os.getpid())
    return int(result[0].WorkingSet)

在Linux上(來自python食譜http://code.activestate.com/recipes/286222/

import os
_proc_status = '/proc/%d/status' % os.getpid()

_scale = {'kB': 1024.0, 'mB': 1024.0*1024.0,
          'KB': 1024.0, 'MB': 1024.0*1024.0}

def _VmB(VmKey):
    '''Private.
    '''
    global _proc_status, _scale
     # get pseudo file  /proc/<pid>/status
    try:
        t = open(_proc_status)
        v = t.read()
        t.close()
    except:
        return 0.0  # non-Linux?
     # get VmKey line e.g. 'VmRSS:  9999  kB\n ...'
    i = v.index(VmKey)
    v = v[i:].split(None, 3)  # whitespace
    if len(v) < 3:
        return 0.0  # invalid format?
     # convert Vm value to bytes
    return float(v[1]) * _scale[v[2]]


def memory(since=0.0):
    '''Return memory usage in bytes.
    '''
    return _VmB('VmSize:') - since


def resident(since=0.0):
    '''Return resident memory usage in bytes.
    '''
    return _VmB('VmRSS:') - since


def stacksize(since=0.0):
    '''Return stack size in bytes.
    '''
    return _VmB('VmStk:') - since



Here是一個適用於各種操作系統的有用解決方案,包括Linux,Windows 7 x64:

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_info().rss)

在我目前的Python 2.7安裝中,最後一行應該是

print(process.get_memory_info()[0])

相反(API有變化)。




給定一個字符串,一個完整的Python函數路徑,這是我如何得到所述函數的結果:

import importlib
function_string = 'mypackage.mymodule.myfunc'
mod_name, func_name = function_string.rsplit('.',1)
mod = importlib.import_module(mod_name)
func = getattr(mod, func_name)
result = func()




python memory-management