Direkt zum Hauptinhalt

B1 Webserver

Update-Strategie · Teil B · B1
Eigenheiten je System
externCluster mit StaffelWEB02 Stufe 1, WEB01 Stufe 2
Steckbrief
SystemeWEB01, WEB02 (Cluster web_tenten, web_plamis), beide liefern alle Sites aus
Klasse · Art · Stufeextern · Cluster mit Staffel · WEB02 Stufe 1, WEB01 Stufe 2
VerteilungDer HAProxy prüft /healthz alle 2 s. Er nimmt einen Knoten nach 3 Fehlschlägen heraus (≤ 6 s) und nach 2 Erfolgen wieder auf.
HerausnehmenDrain-Datei → /healthz liefert 503. Danach 15 s warten und warten, bis 10 s lang keine Anfrage mehr kommt (höchstens ca. 70 s).
Dienstenginx: Programmaustausch statt Neustart (bei Fehler Neustart ca. 1 s). php-fpm und die übrigen Dienste starten sofort neu.
Prüfungennginx, php8.4-fpm, Versanddienst je Site, /healthz, Startseite je ausgerollter Site. In A das Testskript je Site. In A und B: keine 5xx, keine Fehler im nginx-Protokoll.

Ablauf

Laufend: Sicherheitsupdates stündlich. Betrifft ein Update eine Bibliothek, tauscht nginx sein Programm aus, ohne Verbindungen zu verlieren. php-fpm startet sofort neu.

Kernel-Staffel (bei neuem Kernel, ausgelöst von der stündlichen Prüfung) und Neustart im Fenster 04:30 laufen gleich. Reihenfolge WEB01, dann WEB02:

1Vorlauf (nur Staffel): Sicherheitsupdates auf allen Knoten mit Staffel einspielen, damit beide Webserver in einem Durchgang drankommen.
2Vorprüfung: Der andere Knoten antwortet auf /healthz mit 200, sonst wird nichts angefasst.
3Herausnehmen: Drain-Datei anlegen, /healthz liefert 503, 15 s warten, dann warten, bis 10 s keine Anfrage mehr ankommt.
4Neustart mit Zeitlimit 10 min.
5A, draußen: Prüfung wie im Fenster, Testskript je ausgerollter Site (site-test-<site>.py), dann 2 min lang jede Minute stabil.
6Zurück: Drain-Datei weg, /healthz 200. Der HAProxy nimmt den Knoten nach 2 Erfolgen auf und fährt ihn 10 s lang hoch (slowstart).
7B, mit Verkehr: 5 min lang jede Minute die Prüfung, keine 5xx und keine Fehler im nginx-Protokoll seit dem Neustart. Erst danach kommt WEB02.

Fehlerfall

  • Fehler vor dem Neustart: Der Knoten bekommt seinen Verkehr sofort zurück. Fehler nach dem Neustart (A oder B): Er bleibt draußen bzw. geht wieder heraus, der andere Knoten trägt alle Sites.
  • Der zweite Knoten wird nicht mehr angefasst. Die Staffel startet für diesen Cluster nicht mehr von selbst, bis der Abbruch erledigt ist. Andere Cluster laufen weiter.
  • Meldung: FEHLER „Kernel-Staffel abgebrochen“ bzw. „Wartungsfenster abgebrochen“ mit Schritt, Protokollauszug und dem Befehl zum Wiederholen. Ist der Knoten draußen, steht das in der Mail.

Eingriffe von Hand

Auf CTRL01 unter /srv/ansible, als Ansible-Konto:

# Staffel für einen Knoten wiederholen (erledigt einen Abbruch, gibt den Knoten zurück)
infra-run ansible-playbook playbooks/kernel-rolling.yml -l athq-ls-web01
# Fenster für einen Knoten, zuerst als Prüflauf
infra-run ansible-playbook playbooks/maintenance.yml -e maintenance_class=extern -l athq-ls-web01 --check
# Ergebnis der letzten Staffel bzw. des letzten Fensters
cat /var/lib/tenten-infra/rolling/athq-ls-web01.json /var/lib/tenten-infra/fenster/athq-ls-web01.json

Auf dem Knoten selbst herausnehmen bzw. zurückgeben:

sudo touch /var/lib/tenten-infra/drain   # heraus (/healthz 503)
sudo rm /var/lib/tenten-infra/drain      # zurück

Staffel abschalten: ha_active.web_tenten und ha_active.web_plamis in group_vars/all.yml auf false. Dann kommt der Kernel erst im Fenster 04:30.

Sonderfälle und Grenzen

  • Beide Cluster liegen auf denselben zwei Knoten. Herausnehmen nimmt alle Sites des Knotens heraus. Gestaffelt wird nur, wenn beide Cluster eingeschaltet sind.
  • Ein von Hand herausgenommener Knoten wird ausgelassen und nicht zurückgegeben.
  • Ausrollen neuer Site-Fassungen nutzt dieselbe Drain-Datei. Es läuft nie gleichzeitig mit Staffel oder Fenster (Sperre infra-run).
  • Fällt ein Knoten aus, ohne dass er herausgenommen wurde, merkt der HAProxy das nach höchstens 6 s. Anfragen in diesen Sekunden können scheitern.

Gemessen

DatumLaufWert
13.11.2026Kernel-Staffel (echt)WEB01 8 min 48 s, WEB02 8 min 40 s, beide ok
10.11.2026erste Staffel (Test)ca. 8,5 min je Knoten, 1.659 Probeanfragen, alle 200
18.11.2026Fenster ohne Bedarf9–11 s je Knoten

Stand 18.11.2026 · Quelle: docs/engineering/UPDATE_STRATEGIE.html im Repo TENTEN-INFRA · Commit ff71bf7 2026-11-18 · Diese Seite wird aus dem Repo erzeugt, Änderungen bitte dort.