Feedback zur Unterbrechung des Dienstes am Donnerstag, den 28.11.

Die Dienste von GoodBarber und WMaker wurden im Laufe des 28. Novembers aufgrund eines Stromausfalls gestört. Der Vorfall ereignete sich an der allgemeinen Stromversorgung eines Schranks in einem der Rechenzentren, in dem ein Teil unserer technischen Infrastruktur untergebracht ist.
Der Dienst wurde vorübergehend unterbrochen, was zu Störungen bei unseren Mitgliedern führte, und bei der Wiederinbetriebnahme teilweise beeinträchtigt, aber es gingen keine Daten verloren.
Die Dienste funktionieren nun seit über 24 Zeitauswahlen wieder einwandfrei und normal. Es ist Zeit für Erklärungen, Bilanz und Lehren, die wir in dieser Mitteilung mit Ihnen teilen.

Gestern Morgen, gegen 8:30 Uhr Zeitauswahl, kam es zu einem Stromausfall in der Stromversorgung eines Racks, in dem etwa 20 unserer Rechenserver untergebracht waren. Dieser Vorfall trat bei einem Stromversorgungsgerät auf, das uns von unserem Hosting-Anbieter OVH im Rahmen eines unserer Hosting-Verträge in einem Pariser Datenzentrum zur Verfügung gestellt wurde.

Wir baten den OVH-Techniker, die Stromversorgung des Schranks wiederherzustellen, was uns ermöglichte, alle betroffenen Dienste (25% unserer Installation) innerhalb einer Zeitauswahl wieder in Betrieb zu nehmen. Um 9.30 Uhr war alles wieder in Ordnung und die Dienste funktionierten wieder normal.

In einer ersten Hypothese ging OVH davon aus, dass der Vorfall auf einen Fehler in einer ihrer USV-Anlagen zurückzuführen war, der fast zur gleichen Zeit aufgetreten war.

Der Fehler führte zu einer Unterbrechung der Dienste. Es gingen jedoch keine Daten verloren. Wir duplizieren die Daten mehrmals, dauerhaft und an verschiedenen Karten. Dennoch hätte der Dienst nicht vollständig unterbrochen werden dürfen. Er wurde unterbrochen, weil wir einen Dienst zur Sitzungsverwaltung haben, der nicht korrekt auf einen Rechner in einem anderen Rack umgeschaltet hat. Wenn die Ausfallsicherung korrekt funktioniert hätte, hätten wir die Downtime vermeiden können.

Um 11.30 Uhr waren wir dabei, einige Dienste in ein anderes Rack zu verlegen, als ein zweites Stromversorgungsproblem im ersten Rack auftrat. Dieses Problem führte erneut zu einer 30-minütigen Downtime. In der Not griff der Techniker von OVH erneut ein und ab 12.00 Uhr waren alle Dienste wieder verfügbar.

Als Vorsichtsmaßnahme begaben sich zwei Teammitglieder physisch in das Rechenzentrum, wo wir den Schrank haben, der von dem Stromausfall betroffen war. Sie verbrachten 6 Zeitauswahlen vor Ort, um alle unsere Geräte an Ort und Stelle zu analysieren. Alle betroffenen Geräte sind weniger als ein Jahr alt und werden regelmäßig je nach Bedarf erneuert. Wir haben beschlossen, ausschließlich Geräte von HP, Cisco und APC zu verwenden, die sich als zuverlässig erwiesen haben.
Da wir keine Anomalien an unserer Hardware feststellen konnten, vereinbarten wir mit unserem Hosting-Provider, dass er die elektrische Ausrüstung, die unseren Schrank versorgt, vorbeugend austauschen würde.
Ein gemeinsamer Einsatz mit unserem Hosting-Provider fand zwischen 19.00 und 21.00 Uhr statt, um diese Anlage auszutauschen. Dies konnte zu sehr kurzen Störungen führen, ohne dass der Dienst unterbrochen wurde.

Unser Team überwacht den Dienst weiterhin genau, aber seit 24 Stunden ist keine Instabilität mehr aufgetreten und alles ist wieder in Ordnung.

Dieser Typ von Ausfall ist eines der schwierigsten Szenarien, die es zu bewältigen gilt. Unser Ziel ist es, dass unsere Architektur in der Lage ist, diese Art von Vorfällen und Situationen ohne Unterbrechung des Dienstes zu tolerieren. Dies ist eine Gelegenheit für uns, unsere Systeme kalt neu zu bewerten, um den Service auch bei einem Stromausfall von 50% der Architektur aufrechtzuerhalten und ähnliche Situationen in Zukunft zu vermeiden.