Python進程使用的內存總數?


Answers

對於Unix(Linux,Mac OS X,Solaris),您也可以使用標準庫模塊resourcegetrusage()函數。 結果對象具有ru_maxrss屬性,該屬性為調用進程提供峰值內存使用量:

>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656 # peak memory usage (bytes on OS X, kilobytes on Linux)

Python文檔並不清楚單元是什麼,但用於getrusage(2)Mac OS X手冊頁將單元描述為字節 。 Linux手冊頁並不清楚,但它似乎相當於/proc/self/status千字節)中的信息

getrusage()函數也可以被賦予resource.RUSAGE_CHILDREN以獲取子進程的用法,以及(在某些系統上) resource.RUSAGE_BOTH用於總(自我和子)進程的使用。

resource是一個標準的庫模塊。

如果你只關心Linux,你可以按照類似的問題來查看/proc/self/status文件。

Question

有沒有一種方法可以讓Python程序確定當前使用的內存量? 我已經看到關於單個對象的內存使用情況的討論,但我需要的是該進程的全部內存使用情況,以便我可以確定何時需要開始丟棄緩存的數據。




han = win32api.OpenProcess(win32con.PROCESS_QUERY_INFORMATION|win32con.PROCESS_VM_READ, 0, os.getpid())
process_memory = int(win32process.GetProcessMemoryInfo(han)['WorkingSetSize'])



下面是我的函數裝飾器,它允許跟踪函數調用之前該進程消耗了多少內存,函數調用之後使用了多少內存以及函數執行了多長時間。

import time
import os
import psutil


def elapsed_since(start):
    return time.strftime("%H:%M:%S", time.gmtime(time.time() - start))


def get_process_memory():
    process = psutil.Process(os.getpid())
    return process.get_memory_info().rss


def track(func):
    def wrapper(*args, **kwargs):
        mem_before = get_process_memory()
        start = time.time()
        result = func(*args, **kwargs)
        elapsed_time = elapsed_since(start)
        mem_after = get_process_memory()
        print("{}: memory before: {:,}, after: {:,}, consumed: {:,}; exec time: {}".format(
            func.__name__,
            mem_before, mem_after, mem_after - mem_before,
            elapsed_time))
        return result
    return wrapper

所以,當你有一些功能裝飾它

from utils import track

@track
def list_create(n):
    print("inside list create")
    x = [1] * n
    return x

你將能夠看到這個輸出:

inside list create
list_create: memory before: 45,928,448, after: 46,211,072, consumed: 282,624; exec time: 00:00:00



我喜歡it ,感謝@bayer。 我現在得到一個特定的流程統計工具。

# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB

# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB

附上我的進程列表。

$ ps aux  | grep python
root       943  0.0  0.1  53252  9524 ?        Ss   Aug19  52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root       950  0.6  0.4 299680 34220 ?        Sl   Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root      3803  0.2  0.4 315692 36576 ?        S    12:43   0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny    23325  0.0  0.1  47460  9076 pts/0    S+   17:40   0:00 python
jonny    24651  0.0  0.0  13076   924 pts/4    S+   18:06   0:00 grep python

參考




在unix上,你可以使用ps工具來監控它:

$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'

其中1347是一些進程ID。 此外,結果以MB為單位。






Links