<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="/trouble-tickets/single-ticket.xsl"?>

<ticket>
  <meta>
    <id>731</id>
    <filename>731.xml</filename>
    <subject><![CDATA[Notfall-Wartung an Core-Router in Stuttgart]]></subject>
    <status>closed</status>
    <short-description><![CDATA[Wegen den Problemen aus Ticket TTS 722 benötigen zwei unserer Core-Router ein dringendes Software-Update. Der Router in Karlsruhe wurde bereits mit den nötigen Updates und Reboots versorgt (TTS 723). Stuttgart folgt am Sonntag, der erste Reboot startet voraussichtlich um 10:00 Uhr.]]></short-description>
    <creation-time>2026-06-12 12:04:33</creation-time>
    <creation-time-timezone></creation-time-timezone>
    <creation-time-unix>1781258673</creation-time-unix>
    <closing-time>2026-06-14 15:05:41</closing-time>
    <closing-time-timezone></closing-time-timezone>
    <closing-time-unix>1781442341</closing-time-unix>
    <location><![CDATA[STU-ETI]]></location>
    <planned>true</planned>
    <ticket-meta-type><![CDATA[Software]]></ticket-meta-type>
    <ticket-start-work>2026-06-14 09:00</ticket-start-work>
    <ticket-end-work>2026-06-14 15:00</ticket-end-work>
    <ticket-start-work-unix>1781420400</ticket-start-work-unix>
    <ticket-end-work-unix>1781442000</ticket-end-work-unix>
  </meta>
  <actions>
    <update>
      <id>1</id>
      <timestamp>2026-06-14 12:21:00</timestamp>
      <timezone>+02</timezone>
      <text><![CDATA[Nach dem Upgrade bestehen aktuell Routingprobleme. Wir arbeiten an einer Lösung.]]></text>
    </update>
    <update>
      <id>2</id>
      <timestamp>2026-06-14 13:15:54</timestamp>
      <timezone>+02</timezone>
      <text><![CDATA[Momentan muss der Router nochmal neu gestartet werden. Wir hoffen, dass er danach wieder alle Routen sauber lernt.]]></text>
    </update>
    <update>
      <id>3</id>
      <timestamp>2026-06-14 15:05:01</timestamp>
      <timezone>+02</timezone>
      <text><![CDATA[Das Upgrade und die Ausfälle sollten nun abgeschlossen sein.

Bei dem Upgrade kam es zu mehreren Problemen, die im späteren Verlauf auch zu Ausfällen geführt haben.

Bei der Installation des ersten Patches ist eine Line-Card gecrasht. Das Chassis hat die Line-Card automatisch nach dem Chassis-Reboot neu provisioniert, was allerdings die Installation um einige Zeit verzögert hat. Die Line-Card ist wieder in Betrieb.

Nach dem Softwareupgrade mussten einige Firmwareupdates installiert und erneut das komplette Chassis rebootet werden. Nach dem Reboot zeigten sich zunächst keine Probleme. Nachdem wieder Traffic über den Router lief zeigten sich jedoch diffuse Verbindungsprobleme, hauptsächlich über IPv4 und über Transitprovider. Der Router konnte nur ca. 300k der gut 1M Routen verarbeiten, der Grund dafür war zunächst völlig unklar. Nach längerem debugging zeigte, dass die Firmware bei 3 Modulen auf einer der Line-Cards durch das Update defekt war. Die Firmware wurde nochmal komplett überschrieben und die Line-Card restartet. Danach löste sich das Routingproblem. Möglicherweise hat die defekte Line-Card Firmware dafür gesorgt, dass Routen nicht verarbeitet werden.

Teilnehmer, Peerings und Transitverbindungen wurden danach wieder schrittweise in Betrieb genommen.]]></text>
    </update>
  </actions>
</ticket>
