Programa Python comiendo RAM



Answers

Question

Escribí un pequeño programa para recopilar datos a través del puerto serie usando MinimalModbus. Los datos se vuelcan en un archivo CSV. He leído varias publicaciones en SO y otros lugares. Algunas cosas mencionadas son:

  1. Usar evaluación diferida siempre que sea posible (xrange en lugar de rango)
  2. Eliminando objetos grandes no utilizados
  3. Use procesos secundarios y al momento de su muerte, la memoria se libera por SO

La secuencia de comandos está en github aquí . También uso una secuencia de comandos para cargar periódicamente estos archivos a un servidor. Ambos scripts son bastante triviales. Además, nada más se está ejecutando en el sistema, por lo que siento que entre estos dos sistemas solo se está produciendo el acaparamiento de la memoria. ¿Cuál sería la mejor manera de abordar este problema? No estoy muy dispuesto a adoptar la ruta del subproceso.

Más información:

  1. La recopilación de datos se realiza en Raspberry Pi (512 MB RAM)
  2. Versión de Python: 2.7
  3. La memoria RAM tarda aproximadamente de 3 a 4 días en utilizarse por completo, luego de lo cual el RaspberryPi se congela

Seguí esta guía para descubrir los 20 mejores programas que están consumiendo RAM.

$ ps aux | awk '{print $2, $4, $11}' | sort -k2rn | head -n 20
12434 2.2 python
12338 1.2 python
2578 0.8 /usr/sbin/console-kit-daemon
30259 0.7 sshd:
30283 0.7 -bash
1772 0.6 /usr/sbin/rsyslogd
2645 0.6 /usr/lib/policykit-1/polkitd
2146 0.5 dhclient
1911 0.4 /usr/sbin/ntpd
12337 0.3 sudo
12433 0.3 sudo
1981 0.3 sudo
30280 0.3 sshd:
154 0.2 udevd
16994 0.2 /usr/sbin/sshd
17006 0.2 ps
1875 0.2 /usr/bin/dbus-daemon
278 0.2 udevd
290 0.2 udevd
1 0.1 init

Entonces, los dos procesos de Python están consumiendo algo de RAM, pero eso es muy pequeño en comparación con la RAM total consumida. Lo siguiente es la salida del comando libre.

pi@raspberrypi ~ $ free -m
             total       used       free     shared    buffers     cached
Mem:           438        414         23          0         45        320
-/+ buffers/cache:         48        389
Swap:           99          0         99

El siguiente es el resultado del comando superior.

Tasks:  69 total,   1 running,  68 sleeping,   0 stopped,   0 zombie
%Cpu(s): 66.9 us,  5.0 sy,  0.0 ni, 18.1 id,  0.0 wa,  0.0 hi, 10.0 si,  0.0 st
KiB Mem:    448776 total,   429160 used,    19616 free,    47016 buffers
KiB Swap:   102396 total,        0 used,   102396 free,   332288 cached

PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND           
12338 root    20   0 10156 5644 2384 S  69.8  1.3   3059:31 python            
26039 root    20   0     0    0    0 S   1.6  0.0   0:02.71 kworker/0:1       
26863 pi      20   0  4664 1356 1028 R   1.3  0.3   0:00.12 top               
1982 root     20   0  1752  516  448 S   0.3  0.1   1:08.36 sh                
1985 root     20   0  1692  552  460 S   0.3  0.1   5:15.16 startpar          
1 root        20   0  2144  728  620 S   0.0  0.2   0:17.43 init              
2 root        20   0     0    0    0 S   0.0  0.0   0:00.14 kthreadd          
3 root        20   0     0    0    0 S   0.0  0.0   0:13.20 ksoftirqd/0       
5 root         0 -20     0    0    0 S   0.0  0.0   0:00.00 kworker/0:0H      
7 root         0 -20     0    0    0 S   0.0  0.0   0:00.00 kworker/u:0H      
8 root         0 -20     0    0    0 S   0.0  0.0   0:00.00 khelper           
9 root        20   0     0    0    0 S   0.0  0.0   0:00.00 kdevtmpfs         
10 root       0 -20     0    0    0 S   0.0  0.0   0:00.00 netns             
12 root      20   0     0    0    0 S   0.0  0.0   0:00.06 bdi-default       
13 root       0 -20     0    0    0 S   0.0  0.0   0:00.00 kblockd 

EDIT 2

Como se sugirió en la primera respuesta, decidí buscar en los archivos de registro. Eché un vistazo a syslog y el siguiente es el resultado de la cola.

May 19 10:03:26 raspberrypi wpa_supplicant[7065]: wlan0: Failed to initialize driver    interface
May 19 10:03:49 raspberrypi wpa_supplicant[7157]: nl80211: 'nl80211' generic netlink not found
May 19 10:03:49 raspberrypi wpa_supplicant[7157]: Failed to initialize driver 'nl80211'
May 19 10:03:49 raspberrypi wpa_supplicant[7157]: rfkill: Cannot open RFKILL control device
May 19 10:03:49 raspberrypi wpa_supplicant[7157]: Could not read interface wlan0 flags: No such device

Estos mensajes están llenando los archivos de registro y vienen cada segundo. La parte interesante es que estoy usando Ethernet y no WiFi.

Por lo tanto, ahora no está claro dónde se ha ido la memoria RAM.






Links