Fehlerhafter Systemzustand nach Update auf 7.11

ulf.kosack · October 17, 2015, 3:28am

Hallo zusammen,

ich habe gerade meine Testumgebung auf die 7.11 aktualisiert. Leider bekomme ich seit dem Neustart immer die folgende Fehlermeldung:

Fehlerhafter Systemzustand
Einige Pakete sind nicht korrekt installiert. Bitte Überprüfen Sie den Systemzustand und kontaktieren sie gegebenenfalls den Support.

Das Update habe ich über die Weboberfläche gestartet. Die Fehlermeldung kam nach dem Neustart. Vor dem Update hatte ich 7.10 installiert. Nachdem das Verarbeiten der Scripte nach dem Neustart fehlgeschlagen war, habe ich die Installation noch zwei Mal neugestartet.

Der Verlauf in der Konsole sieht wie folgt aus:

    2015-10-17 12:02:10: [tsk050304] System neu starten
    2015-10-17 12:02:03: [tsk051003] Faxserver Konfig. anwenden
    2015-10-17 12:01:45: [tsk050205] Telefonie Konfig. anwenden
    2015-10-17 12:01:42: [tsk050510] Authentifizierung konfigurieren
    2015-10-17 12:01:41: [tsk050503] Netzwerk Dienste
    2015-10-17 12:01:36: [tsk050506] DHCP Konfiguration anwenden
    2015-10-17 12:01:34: [tsk050505] DNS Konfiguration anwenden
    2015-10-17 11:42:02: [tsk050399] Console -> rotes Kreuz (fehlgeschlagen)
    2015-10-17 11:41:06: [plu990010] Console
    2015-10-17 11:18:10: [pl700020] Console -> rotes Kreuz (fehlgeschlagen)

Hier die dazugehörigen Logs:
/var/log/jobs/20151017111309_050399_19692.log

2015-10-17 11:13:10             sql info     : Connecting to database
2015-10-17 11:13:10       tsk050399 info     : Starte Task 050399 'Softwareupdate fertigstellen', Parameter: [/tmp/postupdate.jobs], User-ID: [1]
2015-10-17 11:13:10       tsk050399 info     : Init Update, type is [full]
2015-10-17 11:13:10       tsk050399 info     : Get package info
2015-10-17 11:13:10       tsk050399 info     : Backup the database
2015-10-17 11:13:10       tsk050313 info     : Starte Child-Task 050313 'Datenbanksicherung erstellen', Parameter: [pre_update_7.11.00.R_1445073190]
2015-10-17 11:13:10       tsk050313 info     : Altes Arbeitsverzeichnis wird gelöscht
2015-10-17 11:13:10       tsk050313 info     : Starte Sicherung
2015-10-17 11:13:10       tsk050313 notice   : Arbeitsverzeichnis wurde erfolgreich angelegt
2015-10-17 11:13:10       tsk050313 info     : Export sysinfo
2015-10-17 11:13:10       tsk050313 info     : ... export dpkg.json
2015-10-17 11:13:10       tsk050313 info     : ... export dbversion.json
2015-10-17 11:13:10       tsk050313 notice   : Sysinfo exported
2015-10-17 11:13:10       tsk050313 info     : . Starte [date > /BACKUP/tsk050313//export//date]
2015-10-17 11:13:10       tsk050313 info     : . Exit: [0]
2015-10-17 11:13:10       tsk050313 info     : . Starte [ip addr > /BACKUP/tsk050313//export//ipaddr.txt]
2015-10-17 11:13:10       tsk050313 info     : . Exit: [0]
2015-10-17 11:13:10       tsk050313 info     : . Starte [netstat -nr > /BACKUP/tsk050313//export//route.txt]
2015-10-17 11:13:10       tsk050313 info     : . Exit: [0]
2015-10-17 11:13:10       tsk050313 info     : Starte Datenbanksicherung
2015-10-17 11:13:10       tsk050313 info     : . Starte [su postgres -c 'pg_dumpall'|gzip - > /BACKUP/tsk050313//export//dump.sql.gz]
2015-10-17 11:13:11       tsk050313 info     : . Exit: [0]
2015-10-17 11:13:11       tsk050313 info     : Kopiere kundenspezifische Daten
2015-10-17 11:13:11       tsk090510 info     : Starte Child-Task 090510 'Eigene Ansagedateien exportieren', Parameter: [/BACKUP/tsk050313//export//prompts.tgz]
2015-10-17 11:13:11       tsk090510 info     : . Starte [cd '/var/lib/mobydick/custom/prompts/'; find . -name '*.wav' | tar -cvzf '/BACKUP/tsk050313//export//prompts.tgz' -T -]
2015-10-17 11:13:11       tsk090510 info     : ... ./de/edv-willkommen.wav
2015-10-17 11:13:11       tsk090510 info     : . Exit: [0]
2015-10-17 11:13:11       tsk090510 notice   : Fertig
2015-10-17 11:13:11       tsk090510 info     : Child-Task 090510 wurde mit [1] beendet
2015-10-17 11:13:11       tsk050313 notice   : Datenbanksicherung erfolgreich durchgeführt
2015-10-17 11:13:11       tsk050313 info     : . Starte [cp -v $(ls -1t /var/log/jobs/*_19692.log|head -1) /BACKUP/tsk050313//export//export.log]
2015-10-17 11:13:12       tsk050313 info     : ... `/var/log/jobs/20151017111309_050399_19692.log' -&gt; `/BACKUP/tsk050313//export//export.log'
2015-10-17 11:13:12       tsk050313 info     : . Exit: [0]
2015-10-17 11:13:12       tsk050313 info     : Datenbanksicherung wird gepackt
2015-10-17 11:13:12       tsk050313 info     : . Starte [cd /BACKUP/tsk050313/; tar czf /BACKUP/dbdump/pre_update_7.11.00.R_1445073190.tgz *]
2015-10-17 11:13:12       tsk050313 info     : . Exit: [0]
2015-10-17 11:13:12       tsk050313 info     : Altes Arbeitsverzeichnis wird gelöscht
2015-10-17 11:13:12       tsk050313 info     : . Starte [rm -rf /BACKUP/tsk050313/]
2015-10-17 11:13:12       tsk050313 info     : . Exit: [0]
2015-10-17 11:13:12       tsk050313 notice   : Speichern der Datenbanksicherung erfolgreich durchgeführt
2015-10-17 11:13:12       tsk050313 info     : Prüfe Anzahl max. Backups auf 100
2015-10-17 11:13:12       tsk050313 notice   : Done!
2015-10-17 11:13:12       tsk050313 info     : Child-Task 050313 wurde mit [1] beendet
2015-10-17 11:13:12       tsk050399 info     : Migrate database
2015-10-17 11:13:12       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php md-cmd]
2015-10-17 11:42:00       tsk050399 info     : ... Migration successfull
2015-10-17 11:42:00       tsk050399 info     : . Exit: [0]
2015-10-17 11:42:00       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php ex-mobydick]
2015-10-17 11:42:00       tsk050399 info     : ... Migration successfull
2015-10-17 11:42:00       tsk050399 info     : . Exit: [0]
2015-10-17 11:42:00       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php md-aastra-data]
2015-10-17 11:42:01       tsk050399 info     : ... Migration successfull
2015-10-17 11:42:01       tsk050399 info     : . Exit: [0]
2015-10-17 11:42:01       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php md-client]
2015-10-17 11:42:01       tsk050399 info     : ... Migration successfull
2015-10-17 11:42:01       tsk050399 info     : . Exit: [0]
2015-10-17 11:42:01       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php md-jasperreports]
2015-10-17 11:42:02       tsk050399 info     : ... Migration successfull
2015-10-17 11:42:02       tsk050399 info     : . Exit: [0]
2015-10-17 11:42:02       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php md-lic]
2015-10-17 11:42:02       tsk050399 info     : ... Migration successfull
2015-10-17 11:42:02       tsk050399 info     : . Exit: [0]
2015-10-17 11:42:02       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php md-moh-basic]
2015-10-17 11:42:02       tsk050399 info     : ... Migration successfull
2015-10-17 11:42:02       tsk050399 info     : . Exit: [0]
2015-10-17 11:42:02       tsk050399 info     : . Starte [/TARGET/SHARE/var/www/mobydickcmd//script/mdc_migrate.php md-snom-data]
2015-10-17 11:42:02       tsk050399 info     : . Exit: [255]
2015-10-17 11:42:02       tsk050399 error    : Migration failed: md-snom-data

20151017114230_700020_19693.log

2015/10/17 11:42:30 [main] [ERROR]: Joblist /tmp/done.jobs not found

Hat jemand Tipps für mich, wie ich den Fehler wegbekomme?

Danke
Ulf

tweber · October 17, 2015, 11:13am

Hallo Ulf,

es gibt eine Race Condition zwischen den OpenLDAP und unseren Update-Scripten wenn zu einem “ungünstigen Zeitpunkt” während des Updates LDAP Anfragen eintreffen . Anfang der Woche gibt es gleich die 7.11.01 um das Problem nicht ausufern zu lassen.

Falls das System noch in diesem Zustand ist, so gehe bitte wie folgt vor:


/etc/init.d/slapd stop
exdjob.pl tsk050399

Dadurch sollte innerhalb von 1-2 Minuten das System wieder gerade gezogen werden. Es gibt keine Nebenwirkungen.
Gib bitte Bescheid ob der Fix oben bei Dir geholfen hat.

Bekommt man die Fehlermeldung beim einloggen so sieht man in der Task-Box auch einen unendlich laufenden Updatejob.
Solange dies der Fall ist hilft:


/etc/init.d/slapd restart
# oder falls dies scheitert
killall -9 slapd

Man kann das Problem auch komplett umgehen wenn man bereits vor dem Update den SLAPD ausser Kraft setzt:


mv /etc/init.d/slapd /etc/init.d/_slapd
# nun updaten, reboot etc.
# danach
mv /etc/init.d/_slapd /etc/init.d/slapd
/etc/init.d/slapd start

Danke+Gruß,

Thomas

ulf.kosack · October 18, 2015, 3:54am

Hallo Thomas,

danke für die schnelle Reaktion. Stoppen des slapd und manuelles Ausführen des Jobs haben wunderbar geholfen. Man sollte aber die Laufzeit des Jobs in der Weboberfläche beobachten. Da der Absetzen des Befehls auf der Kommandozeile keine Wartezeit verursacht hat, hatte ich die MD sicherheitshalber neugestartet und damit die Nachverarbeitung wieder abgebrochen. Ich sollte lesen, was Du schreibst (2 Minuten) :(.

Im zweiten Versuch hat es dann ohne Probleme geklappt. Jetzt ist wieder alles ok.

Danke
Viele Grüße

Ulf

tweber · October 18, 2015, 10:42am

Hallo Ulf,

schön das es geklappt hat.
Ja, Jobs werden generell im Hintergrund ausgeführt - genau deshalb haben wir die Job-Engine gebaut

Tatsächlich kann man aber auf Jobs in der Shell auch warten.
Ein ungefährliches Beispiel (Telefonie anwenden und darauf warten):


exdjob.pl -w -v tsk050205

Danke für die Rückmeldung!

Gruß,

Thomas