Das Problem wurde behoben und alle ausstehenden Jobs inkl. Webhooks wurden nun vollständig übermittelt.

Wir werden die nächsten Tage nutzen um den Ausfall gründlich aufzuarbeiten, die Ursache weiter zu analysieren und Maßnahmen einzuleiten so einen Ausfall zukünftig einzudämmen.

Aktuell gehen wir allerdings von einem Bug im Laravel-Framework aus, welcher den Fehler produziert hat.

Die ausstehenden 1470 Webhooks werden nun innerhalb der nächsten Minuten verschickt.

Erneutes Update: 17:30 Uhr

3/4 der ausstehenden Jobs wurden inzwischen abgearbeitet. Die Webhooks sind noch immer zeitverzögert. Alle Bestellbestätigungen, Transfers, Zahlungen und Rechnungen sind aber bereits verarbeitet. Wir arbeiten an einer Erhöhung der Ressourcen um das Backlog schneller abzuarbeiten.

Nächstes Update: 17 Uhr

Ein Großteil der ausstehenden Jobs (Hintergrundprozesse) konnte bereits ausgeführt werden. Einige Jobs können aus Sicherheitsgründen nicht so einfach wiederholt ausgeführt werden. Wir implementieren hierfür gerade einen Fix um die ca. 3700 Jobs noch neu anzustoßen.

Neue Bestellungen sind hiervon unbetroffen, diese laufen bereits wieder.

Erneutes Update: 16 Uhr

Wir konnten das Problem beheben. Der Backlog von mehreren tausenden von Jobs wird nun abgearbeitet.

Weiteres Update erfolgt um 15 Uhr.

Wir haben das Problem eingrenzt und befinden uns in der Fehler-Analyse. Aktuell gehen wir davon aus, dass der Betrieb noch die nächsten Stunden eingeschränkt ist und es noch einige Stunden dauern wird nach Behebung bis alle Jobs abgearbeitet sind.

Wir geben erneut ein Update um 15 Uhr.

Aktuell kommt es zu Verzögerungen in der Abarbeitung der Webhooks, Rechnungen und Zahlungen, so dass Lieferanten/Kunden deutlich später eine Information erhalten. Wir untersuchen die Ursache.