Als alle IT-systemen niet werken

Let op, deze post duurt 20-30 minuten om te lezen...

Op 27 juni 2017 ontving ik rond 15:00 uur CET een telefoontje waarin mij werd verteld om mijn computer onmiddellijk uit te schakelen, aangezien er een virus zich verspreidde via het IT-netwerk van TNT. Ik heb de workshop die ik gaf eenvoudig afgerond, omdat ik geen afhankelijkheid had van mijn computer. Ik heb het gebruik van powerpoint sowieso in workshops altijd gehaat.

Ik gaf een workshop over verandering en crisisbeheersing in een hotel voor verandermanagers van TNT/FedEx, intern bekend als de “Integrators”, die binnenkort in het veld zouden gaan werken om lokale managementteams te ondersteunen bij de integratie van de TNT- en FedEx-activiteiten in Europa. Op dat moment besefte ik niet hoe verandering en crisis slechts enkele uren later mijn leven zouden beïnvloeden.

Crisis
Die avond ontving ik nog een telefoontje van het Europese wegennet van TNT. Ze vroegen om onmiddellijke hulp bij het managen van een snel groeiende crisis. Ze hadden net een telefoontje gehad van de plaatselijke politie, die eisten dat de ingangspoort van het wegennet moest worden geopend. Er stonden vrachtwagens aan beide kanten van de snelweg en nog eens 100 vrachtwagens vormden een rij van de ingangspoort tot aan de snelweg. Nu stonden de vrachtwagens op de snelweg, een zeer onveilige situatie. Natuurlijk werd de poort geopend om een verdere gevaarlijke situatie te voorkomen; alle vrachtwagens mochten het terrein binnenkomen, wat resulteerde in totale operationele chaos. Na twaalf jaar als directeur van het Europese wegennet te hebben gewerkt, aarzelde ik natuurlijk geen seconde.

Schaal
Het Europese wegennetwerk van TNT bestaat uit 13 grote en 7 middelgrote knooppunten. Samen vormen ze de backbone van het grootste tijd- en dagspecifice wegennetwerk in Europa, dat 48 landen en ongeveer 600 depots verbindt en die week ongeveer 40.000.000 kg vervoert. Er is ook het Europese luchtvaartknooppunt van TNT in Luik, België, waar we met iets meer dan 50 vliegtuigen opereren. Dit knooppunt verbindt dezelfde 600 depots via 70 luchthavens die TNT exploiteert. TNT heeft wereldwijd in totaal ongeveer 1250 locaties, maar 80 procent van zijn wereldwijde omzet is in Europa. Dagelijks rijden ongeveer 40.000 bestelwagens en kleine vrachtwagens vanuit de 1250 depots naar meer dan 1.000.000 klanten. Dit enorme netwerk is volledig afhankelijk van technologie, data, systemen, enz. Nu werkt niets meer: geen scanner, geen laptop, geen sorteren-machine, niets dat een computer of data nodig had, is in minder dan 2 uur nutteloos geworden. Geen e-mail, geen intranet, we stonden voor een totale systeemuitval. We waren blind en stonden voor de grootste uitdaging (we noemden het een “catachallenge”) ooit. Maar we zijn TNT.

Millennium/Bugs
Terwijl het virus wereldwijd zich verspreidde, stonden we voor een uitdaging die we 18 jaar eerder hadden moeten aangaan. In 1999 hadden we ons voorbereid op het ergste geval op 1-1-2000: de impact van het millennium-virus. Ik was destijds projectmanager van het millenniumproject voor alle TNT-netwerken. Ik heb onze archieven gecontroleerd op de noodplannen die in 1999 waren ontwikkeld, maar later bleek dat deze in 2015 waren verwijderd. We hebben alleen de digitale versie bewaard….

NotPetya
Veiligheidsexperts geloven dat de aanval voortkwam uit een update van een Oekraïens pakket voor fiscale boekhouding genaamd MeDoc. De experts waren het erover eens dat Petya zich voordeed als ransomware, terwijl het eigenlijk bedoeld was om maximale schade te veroorzaken, waarbij Oekraïne het belangrijkste doelwit was. Het virus werd daarom “NotPetya” genoemd. TNT, de marktleider in Oekraïne, werd geïnfecteerd met de MeDoc-applicatie en het virus kon zich verspreiden over het IT-netwerk van TNT. Alle systemen wereldwijd, zowel centrale systemen als lokale systemen, functioneerden niet meer.

De eerste 24 uur
Ondanks het gebrek aan toegang tot de digitale versie van onze noodplannen en het feit dat alle faciliteiten van TNT pakketten op de daken hebben staan, besloten we om onze bestaande klanten de eerste 24 uur van de crisis open te houden. Dit werd besloten via een cascadeaanpak, waarbij alle operationele managers op alle niveaus wereldwijd binnen slechts 2 uur werden geraadpleegd. Hieruit bleek dat er grote vertrouwen was in de organisatie om deze crisis aan te kunnen, waarbij rekening werd gehouden met een acceptabele dienstverlening voor onze klanten in de gegeven omstandigheden.

De eerste 3 dagen
De eerste 3 dagen waren cruciaal. Het zou blijken of onze vertrouwen adequaat was of of het een nog groter ramp zou veroorzaken. We ontwierpen nieuwe processen (oude mensen zoals ik hadden nog kennis van de processen van de ‘oude’ tijd, die toevallig heel nuttig waren). We kochten nieuwe standalone laptops, walky-talkies, telefoons en andere kleine communicatieapparatuur, signage materiaal en nog veel meer om een volledig handmatig operationeel proces fysiek te organiseren. Het belangrijkste wat ons ook hielp te overleven waren onze routeetiketten. Aan elk stuk dat in ons netwerk verplaatst werd, stonden de volgorde van sorteringscodes (locatiecodes) op de etiketten. De codes vertelden de meeste informatie over de route naar het eindpunt van het stuk. Bovendien waren 90% van onze zendingen al door onze klanten voorzien van labels.
We hebben de eerste 3 dagen het overleefd, maar het heeft allemaal iedereen veel tijd gekost. We hebben de processen om de 2 uur opnieuw ontworpen door alle teamleiders en managers bij elkaar te brengen, een open feedbacksessie gehouden, ons gericht gehouden op wat we hebben geleerd en besloten wat we de volgende 2 uur zouden aanpassen.
De volumes werden niet allemaal verplaatst; het wegennetwerk werd ook een obstakel voor het luchtvervoer; de douaneformaliteiten waren de eerste drie dagen niet mogelijk. Echter, de software van onze sorteermachines werd aangepast en konden nu in stand-alone modus sorteren op basis van de sorteertabellen die we hadden gemaakt. Onze onderaannemers waren fantastisch; ze deden alles wat nodig was zonder vragen te stellen. Het personeel werkte in 8 uur shifts, maar toen we om meer tijd vroegen, stelden ze hun hand op zonder uitzondering. Nieuwe teamleiders werden geboren in dit moment omdat ze natuurlijke leiders waren. Oude problemen, klachten, problemen tussen de medewerkers, etc. speelden geen rol meer in het samenwerken. We waren allemaal in overlevingsmodus, ernstiger dan ooit tevoren. We wisten allemaal dat het een kwestie van of-of was, herstel of faillissement. We hadden het geluk dat we deel uitmaakten van de FedEx-familie en ze toonden het vertrouwen in de TNT-denkwijze. Het was echt geweldig om te zien hoe dit allemaal in slechts 3 dagen tot stand kwam.

Crisisbeheer
Na de eerste 3 dagen weet je al wat de uitkomst gaat zijn. Het is een heel vreemd gevoel, maar ik heb het duidelijk gevoeld en veel collega’s zeiden hetzelfde. We allemaal zeiden: “we zullen dit overleven en daarna sterker worden”.
We wisten ook dat dit geen snel oplossingsrichting zou zijn. Heel snel begrepen we dat de IT-systemen niet binnen een paar weken operationeel zouden zijn.
We waren ook heel duidelijk over het personeelsniveau: we hadden meer mensen nodig. Onze gebruikelijke leveranciers van uitzendkrachten gingen de productie op, en het personeel van het hoofdkantoor begon vrijwillig te werken in onze magazijnen. We vervoerden niet alleen pakketten en vracht, we creëerden nu ook dienstregelingen voor bussen, waarbij personeel naar die plaatsen werd gebracht waar extra handen nodig waren.
Communicatie is van dag één essentieel. Na het eerste schok en de eerste drie dagen waarin we ons aan onze overlevingsmodus aanpassen, veranderde de communicatie gestaag. De focus lag op nieuwe vereisten, de pers, klanten, medewerkers, leveranciers, en zelfs de familie van medewerkers. Maar ook de lokale overheid, de douane en andere formele instanties die op de een of andere manier met het lucht- en wegvervoer te maken hebben.
We hadden behoefte aan een communicatie-ritme, een snel (en kort) cascadeproces omdat informatie over voortgang of het uitleggen van nieuwe beslissingen cruciaal is; je wilt altijd de eerste keer alles goed doen.
Systeemvereisten moeten waar mogelijk vervangen worden. Whatsapp werd de kerncommunicatiekanaal. Voor teams, afdelingen, faciliteiten, leidinggevenden, maar ook hier voor leveranciers. We bouwen zelfs een database aan op basis van telefoonnummers, waar WhatsApp-berichten geanalyseerd en gegevens gehaald werden om rapporten op te stellen waarmee we konden begrijpen waar de vrachtwagens zich bevonden in ons netwerk (ongeveer 2.500 tegelijkertijd in 24 uur), hoe, wanneer en waar leveringen werden uitgevoerd. Maar ook rapporten voor onze leveranciers zodat zij facturen konden sturen en betaald konden worden. We hadden ook veel klanten die de informatie verstrekten zodat we facturen voor hen konden opstellen. De cashflow, hoewel niet cruciaal in de eerste weken vanwege het feit dat we nu FedEx waren, wordt al snel een hot topic als je gewoonlijk 1x20 miljoen per week uitgeeft en je inkomsten iets hoger liggen. Salaris moet ook maandelijks betaald worden, zeker nu! Wat als je alle salarisgegevens kwijtraakte? We hebben alle salarissen op tijd kunnen betalen.

Mensen zijn flexibel, Daarom is de organisatie ook zo.
Als we één ding hebben geleerd, is het dat mensen flexibel zijn. Ook zijn ze reagerend op nieuwe vereisten en zijn ze bereid om “gewoon te proberen” en niet bang te zijn om te falen. De 180-graden-omwenteling in gedrag en mindset die we voor en na de crisis hebben gezien, is echt adembenemend.
Hier zijn enkele opmerkingen:
– Het doel is zeer duidelijk
– Focus en het vasthouden aan focus is natuurlijk
– Duidelijke en beknopte communicatie is evident
– De rollen en verantwoordelijkheden worden op alle niveaus en tussen de verschillende niveaus beter duidelijk.
– De samenhang tussen mensen en activiteiten vindt plaats op het werk en wanneer dat nodig is.
– De werkbelasting wordt zelf beheerd door teams op basis van de essentiële output die nodig is
– Continu verbeteren wordt de verantwoordelijkheid van iedereen
– Managers worden leiders, en als dat niet lukt, staat iemand anders in het team klaar om het te ondersteunen en het succesvol te laten verlopen.
– Mensen beoordelen niet, ze kiezen wat werkt (samen) en volgen deze stroming.
– Teams sturen zichzelf plotseling aan, er is veel minder behoefte aan betrokkenheid van management
– Het leren uit ervaring wordt versneld, en dit wordt ook op grote schaal gedeeld
– De klantgerichtheid verandert niet, integendeel, ze wordt sterker.
Alle voordelen die onder normale omstandigheden jaren zouden duren om te bereiken, bereikten we in de eerste weken van de crisis. En we waren er ook nog veel van in staat te behouden na de crisis.

Conclusies
Voordat de crisis begon. Als we de millennium-procedureshandleidingen hadden bewaard, hadden we de storyboard voor het beheren van deze crisis. Dit omvat ook het onderhouden van de tools die nodig zijn voor het handhaven van minimale operationele processen en communicatie. Een crisisprocedure is ook cruciaal voor elk managementteam binnen de organisatie, met duidelijke rollen en verantwoordelijkheden, evenals afspraken over plaats, tijd en intervallen van vergaderingen, en wie in welke team zit (bijvoorbeeld communicatie, operationele processen, planning, juridische zaken, IT, financiën, klantenservice, enz.).
De detectie van crises is de verantwoordelijkheid van iedereen. Het kunnen reageren op de eerste signalen kan een aanzienlijke impact hebben. Door snel beslissingen te nemen voorkomt men dat grote rampen zich later kunnen ontwikkelen. De detectie hangt vaak ook af van de bewustwording van mensen en hun bereidheid om te erkennen dat wat ze hebben waargenomen een crisis kan veroorzaken. Het hebben van een plek waar mensen kunnen communiceren is ook zeer nuttig voor een snelle en accurate reactie.
Crisisbestrijdend. Een aspect dat we hebben geleerd is dat het belangrijk is om te erkennen wat je nog niet weet. Bovendien is het belangrijk om een redelijk rigide informatieprioriteit te hebben, evenals om mededogen (verassingen) te tonen en de vrijheid te hebben om bezorgdheid te uiten zonder de organisatie in juridische problemen te brengen.
Crisisherstel. Het volgen van informatieverzoeken is cruciaal, evenals communiceren met alle belanghebbenden. Tegelijkertijd is het informeren van mensen over correctieve maatregelen en het vermelden van financiële implicaties, terwijl men tegelijkertijd compassie uitspreekt, de basis voor duidelijk doel, energie en momentum. Het crisisteam moet periodiek de ontwikkelingen volgen, risico’s in kaart brengen, enz. 
Na de crisis. Ga door met het opvolgen van de problemen. Verzamel crisisgegevens, feedback van belanghebbenden en media-berichten. Voer interviews met belangrijke medewerkers uit. Vergeet niet om herinneringen vorm te geven: intern en extern publiek, wat hebben we geleerd? Bepaal de effectiviteit en onderzoek de gegevens. Kijk (na afloop) terug op fasen van de crisis, bepaal welke veranderingen er zijn aangebracht.

Na de dood.
Al met al is er zoveel te leren van een crisis. We hebben het niet alleen overleefd, maar we weten nu ook hoe we de volgende crisis het beste kunnen overleven. TNT/FedEx heeft voornoemde noodplannen opgesteld die ongekend zijn voor situaties die nog nooit eerder zijn voorgekomen. Bovendien hebben we getrainde en ervaren leidinggevenden en medewerkers. En het belangrijkste: we weten wat er fout is gegaan, niet alleen de impact van het virus. We hebben geleerd hoe mensen in onze organisatie reageren op een crisis, we weten hoe we de volgende keer beter kunnen zijn, wat hopelijk nooit zal gebeuren. Maar we kennen allemaal Murphy’s wet, en hij was volgens hen een optimist!

Wat belangrijk is in een crisis is om de communicatie onder controle te houden. Deze vijf C’s van communicatie kunnen helpen bij het delen van slecht nieuws:

Zorgen – richt de aandacht op de behoeften en zorgen van het publiek. Maak de boodschap niet gericht op jezelf of op het voorkomen van schade. Bij voorkeur erken de zorgen van de mensen en neem deze direct aan.

Duiding – waar mogelijk, laat geen ruimte voor onjuiste veronderstellingen of beste inschattingen. Hoe duidelijker je boodschap is, hoe meer mensen zullen geloven dat je alles onthult wat ze moeten weten. Wanneer communicatie vaag is, impliceert dit dat je iets verblooft of slechts gedeeltelijke waarheden onthult.

Beheersing – blijf de controle houden over wat er wordt gezegd. Wanneer je de controle over de boodschap verliest, is er geen manier om de stroom van onjuiste informatie tegen te houden. Je hele communicatieplan moet erop gericht zijn de controle te behouden.

Vertrouwen – je boodschap en de manier waarop je het communiceert moeten ervoor zorgen dat je luisteraars zeker weten dat de acties die je onderneemt in het beste belang van iedereen liggen. Het is één ding om slecht nieuws openlijk te communiceren, en het is een ander om effectief aan te tonen dat je alles doet wat je kunt om de negatieve impact te minimaliseren. Praat met vertrouwen, maar vergeet niet je menselijkheid te bewaren – erken dat je niet alles kunt verbeteren, maar zorg ervoor dat mensen weten dat je je best doet.