Error "Out of Limits" en el listado de agentes

[fburria]

Buenas,

Hoy, después de un reinicio del servidor donde tengo instalado pandora, todos los agentes, en la columna "Último contacto" me aparece como "Out of Limits".

El MySQL y el Apache están encendidos y no dan ningún error.

He mirado los logs del pandora y tampoco me devuelven ningún error.

Además, he probado a reiniciar el MySQL por si acaso pero sigue en el mismo estado.

Uso RHEL4, MySQL 4.1.12 y Apache 2.0.52.

¿Hay alguna forma de trazar donde puede estar el error? Porque ni en los logs de Pandora ni en los de sistema, ni en los de MySQL, Apache, etc sale nada. O por lo menos, si hay algún error tampoco lo habré visto.

Saludos

[Manuel Arostegui]

Tienes los servidores de pandora corriendo? Tiene pinta de que no los tienes para que se levanten en el arranque del sistema

[fburria]

Supuestamente sí, aunque acabo de ver una cosa rara.

Los servicios están levantados, pero si intentos pararlos me dice que no puede porque no están corriendo.

Pero hago un ps aux y veo que los servicios de pandora están corriendo. Algo no me cuadra.

Más cosas:

/etc/init.d/pandora_server start

Pandora FMS Data Server 1.3.1 Build PS080429 Copyright (c) 2004-2008 ArticaST
This program is Free Software, licensed under the terms of GPL License v2.
You can download latest versions and documentation at http://pandora.sourceforge.net.

 [W] Not all Pandora FMS components need to be executed as root
     please consider starting it with a non-privileged user.
 

• Server basepath is /etc/pandora/pandora_server.conf
• Server logfile at /var/log/pandora/pandora_server.log
• Server errorlogfile at /var/log/pandora/pandora_server.error
• Server incoming directory at /var/spool/pandora/data_in
• Server keepalive 50
• Server threshold 15
• You are running Pandora FMS Data Server.
• This server is running in MASTER mode.
• Pandora FMS Server [pandora_Data] is running and operative

Cannot start Pandora FMS Data Server. Aborted.

 /etc/init.d/pandora_recon start

Pandora FMS Recon server 1.3.1 Build PS080429 Copyright (c) 2004-2008 ArticaST
This program is Free Software, licensed under the terms of GPL License v2.
You can download latest versions and documentation at http://pandora.sourceforge.net.

 [W] Not all Pandora FMS components need to be executed as root
     please consider starting it with a non-privileged user.
 

• Server basepath is /etc/pandora/pandora_server.conf
• Server logfile at /var/log/pandora/pandora_server.log
• Server errorlogfile at /var/log/pandora/pandora_server.error
• Server incoming directory at /var/spool/pandora/data_in
• Server keepalive 50
• Server threshold 15
• You are running Pandora FMS Recon Server.
• This server is running in MASTER mode.
• Pandora FMS Server [pandora_Recon] is running and operative
• Backgrounding...

Cannot start Pandora FMS Recon Server. Aborted

/etc/init.d/pandora_network start

Pandora FMS Network Server 1.3.1 Build PS080429 Copyright (c) 2004-2008 ArticaST
This program is Free Software, licensed under the terms of GPL License v2.
You can download latest versions and documentation at http://pandora.sourceforge.net.

 [W] Not all Pandora FMS components need to be executed as root
     please consider starting it with a non-privileged user.
 

• Server basepath is /etc/pandora/pandora_server.conf
• Server logfile at /var/log/pandora/pandora_server.log
• Server errorlogfile at /var/log/pandora/pandora_server.error
• Server incoming directory at /var/spool/pandora/data_in
• Server keepalive 50
• Server threshold 15
• You are running Pandora FMS Network Server.
• This server is running in MASTER mode.
• Pandora FMS Server [pandora_Net] is running and operative
• Starting up network threads
• Backgrounding Pandora FMS Network Server process.

Cannot start Pandora FMS Network Server. Aborted.

El servicio de pandora de SNMP sí que se enciende y no da ese mensaje de error, pero el resto no.

Lo más curioso del caso, es que a pesar de darme ese mensaje, los servicios se encienden y quedan en background.

[raul]

¿Qué errores encuentras en /var/log/pandora/pandora_*.log?
¿Con un ps auxw qué ruta ves en los demonios de pandora?
¿Has mirado si los ficheros .pid siguen existiendo cuando paras los servicios?

[fburria]

A lo primero, después de arrancar los servicios:

2008/10/13 10:29:22 pandora_Data [V2] Config options: Logfile at /var/log/pandora/pandora_server.log, Basepath is /etc/pandora/pandora_server.conf, Checksum is 0, Master is 1, SNMP Console is 1, Server Threshold at 15 sec, verbosity at 2, Alert Threshold at 45, ServerName is 'pandora_Data'
2008/10/13 10:29:24 pandora_Recon Launching Pandora FMS Recon Server 1.3.1 PS080429
2008/10/13 10:29:24 pandora_Recon [V2] Config options: Logfile at /var/log/pandora/pandora_server.log, Basepath is /etc/pandora/pandora_server.conf, Checksum is 0, Master is 1, SNMP Console is 1, Server Threshold at 15 sec, verbosity at 2, Alert Threshold at 45, ServerName is 'pandora_Recon'
2008/10/13 10:29:27 pandora_Net Launching Pandora FMS Network Server 1.3.1 PS080429
2008/10/13 10:29:27 pandora_Net [V2] Config options: Logfile at /var/log/pandora/pandora_server.log, Basepath is /etc/pandora/pandora_server.conf, Checksum is 0, Master is 1, SNMP Console is 1, Server Threshold at 15 sec, verbosity at 2, Alert Threshold at 45, ServerName is 'pandora_Net'
2008/10/13 10:29:31 pandora_SNMP Launching Pandora FMS SNMP Console 1.3.1 PS080429
2008/10/13 10:29:31 pandora_SNMP [V2] Config options: Logfile at /var/log/pandora/pandora_server.log, Basepath is /etc/pandora/pandora_server.conf, Checksum is 0, Master is 1, SNMP Console is 1, Server Threshold at 15 sec, verbosity at 2, Alert Threshold at 45, ServerName is 'pandora_SNMP'

No parece existir error alguno.

A lo segundo:

ps auxw | grep pandora
root     11014  0.0  2.7 31572 13944 ?       Ssl  10:29   0:00 /usr/bin/perl /usr/local/bin/pandora_server /etc/pandora/pandora_server.conf -D
root     11030  0.0  3.1 33784 16164 ?       Ssl  10:29   0:00 /usr/bin/perl /usr/local/bin/pandora_recon /etc/pandora/pandora_server.conf -D
root     11047  0.1  7.1 106800 36776 ?      Ssl  10:29   0:00 /usr/bin/perl /usr/local/bin/pandora_network /etc/pandora/pandora_server.conf -D
root     11071  0.0  0.5 10180 2888 ?        Ss   10:29   0:00 /usr/sbin/snmptrapd -t -On -n -a -Lf /var/log/pandora/pandora_snmptrap.log -p /var/run/pandora_snmptrapd.pid -F %4y-%02.2m-%l[**]%02.2h:%02.2j:%02.2k[**]%a[**]%N[**]%w[**]%W[**]%q[**]%v\n
root     11091  0.0  1.8 16864 9752 ?        Ss   10:29   0:00 /usr/bin/perl /usr/local/bin/pandora_snmpconsole /etc/pandora/pandora_server.conf -D
root     11150  0.0  0.1  4036  708 pts/3    R+   10:33   0:00 grep pandora

A lo tercero:

En /var/run

Solo encuentro el pid del pandora snmpconsole.

-rw-r--r--  1 root    root       6 oct 13 10:29 pandora_snmp.pid
-rw-r--r--  1 root    root       6 oct 13 10:29 pandora_snmptrapd.pid

Pero el pid del resto de servicios no existe.

¿Los pid se guardan en ese directorio o en otro? Entiendo que en ese, con lo que por lo que veo, si no se crea los pid puede ser el motivo del error al arrancar los servicios.

[raul]

Revisa los /usr/local/bin/pandora_server y demás para ver dónde deja el PID y mira a ver si el directorio existe (debería ser /var/run, pero puede que sea /var/run/pandora...) y si tiene permisos de escritura.

Un saludo,

Raúl

[fburria]

He revisado los scripts en /etc/init.d que es donde se indica la ruta de creación del PID y es /var/run. En la ruta que me indicabas, raul, están los scripts en perl de los servicios y no aparece referencia alguna a los PID.

He creado el directorio /var/run/pandora y le puse permisos 777 y cambié la ruta en los scripts en init.d

A pesar de eso, sigue dando el mismo error que antes y evidentemente sigue sin crear los PID, salvo el del pandora_snmpconsole, que ese sí lo crea.

He probado también, de cambiar el propietario de /var/run/pandora por pandora y ejecutar los servicios con el usuario pandora, pero ni con esas.

[Manuel Arostegui]

Ejecuta a mano pandora así:
/usr/local/bin/pandora_server /etc/pandora/pandora_server.conf

Ves algo raro?

[fburria]

/usr/local/bin/pandora_server /etc/pandora/pandora_server.conf

Pandora FMS Data Server 1.3.1 Build PS080429 Copyright (c) 2004-2008 ArticaST
This program is Free Software, licensed under the terms of GPL License v2.
You can download latest versions and documentation at http://pandora.sourceforge.net.

 [W] Not all Pandora FMS components need to be executed as root
     please consider starting it with a non-privileged user.
 

• Server basepath is /etc/pandora/pandora_server.conf
• Server logfile at /var/log/pandora/pandora_server.log
• Server errorlogfile at /var/log/pandora/pandora_server.error
• Server incoming directory at /var/spool/pandora/data_in
• Server keepalive 50
• Server threshold 15
• You are running Pandora FMS Data Server.
• This server is running in MASTER mode.
• Pandora FMS Server [pandora_Data] is running and operative

No crea el PID en /var/run/pandora, el servicio aparece con un ps aux, el log no guarda ningún error y cuando intento parar el servicio me dice que no está encendido y no para nada. Tengo que matarlo con un kill.

[fburria]

Ahora el problema del "Out of limits" se ha solucionado arrancando todos los servicios a mano, con la ruta del script perl y el fichero de conf, tal y como me pusiste manu, aunque sucede todo lo que te puse arriba.

Pero si los arranco con el script del init.d sigue dando el mismo error.

[Manuel Arostegui]

Es muy raro.
¿Qué distribución usas y qué versión de Pandora?

Prueba a ejecutar esto:

sh -x /etc/init.d/pandora_server start

[fburria]

Uso RHEL4 y Pandora 1.3.1

La salida del comando:

sh -x /etc/init.d/pandora_server start                                                                                                
+ PANDORA_HOME=/etc/pandora/pandora_server.conf                                                                                                              
+ PANDORA_PID_PATH=/var/run/pandora                                                                                                                          
+ PANDORA_PID=/var/run/pandora/pandora_dataserver.pid                                                                                                        
+ PANDORA_DAEMON=/usr/local/bin/pandora_server                                                                                                              
+ '[' '!' -d /var/run/pandora ']'                                                                                                                            
+ '[' '!' -f /usr/local/bin/pandora_server ']'                                                                                                              
+ case "$1" in                                                                                                                                              
++ pwd                                                                                                                                                      
+ OLD_PATH=/root                                                                                                                                            
++ pidof -x /usr/local/bin/pandora_server                                                                                                                    
+ PANDORA_PID=                                                                                                                                              
+ '[' '!' -z ']'                                                                                                                                            
+ rm -f                                                                                                                                                      
+ /usr/local/bin/pandora_server /etc/pandora/pandora_server.conf -D                                                                                          
                                                                                                                                                             
Pandora FMS Data Server 1.3.1 Build PS080429 Copyright (c) 2004-2008 ArticaST
This program is Free Software, licensed under the terms of GPL License v2.
You can download latest versions and documentation at http://pandora.sourceforge.net.

 [W] Not all Pandora FMS components need to be executed as root
     please consider starting it with a non-privileged user.
 

• Server basepath is /etc/pandora/pandora_server.conf
• Server logfile at /var/log/pandora/pandora_server.log
• Server errorlogfile at /var/log/pandora/pandora_server.error
• Server incoming directory at /var/spool/pandora/data_in
• Server keepalive 50
• Server threshold 15
• You are running Pandora FMS Data Server.
• This server is running in MASTER mode.
• Pandora FMS Server [pandora_Data] is running and operative

+ sleep 1
++ pidof -x /usr/local/bin/pandora_server
+ PANDORA_PID=
+ '[' '!' -z '' ']'
+ echo 'Cannot start Pandora FMS Data Server. Aborted.'
Cannot start Pandora FMS Data Server. Aborted.
+ cd /root

Si no lo leo mal, en algún punto, el PID se queda vacío.

[raul]

Creo que el error está en:

Code:

+ PANDORA_PID=/var/run/pandora/pandora_dataserver.pid

dentro de /var/run está el directorio pandora

[fburria]

¿Cómo?

No entiendo la respuesta.

El directorio /var/run/pandora existe y tiene permisos 777.

[Manuel Arostegui]

Tuvimos un problema con el comportamiento del pidof en máquinas Suse, que están basadas en RH.
Prueba una cosa.

Ejecuta a mano pandora, como antes:
/usr/local/bin/pandora_server /etc/pandora/pandora_server.conf

Ahora abre otro terminal y prueba:
pidof -x /usr/local/bin/pandora_server

Ves el numerito? o no ves nada?