Uitval, back-up en herstel van virtuele machines

De vier werkerknooppunten staan elk in een ander rek en de drie besturingsknooppunten in drie rekken; het rek staat als zonekenmerk (topology.kubernetes.io/zone) uit de datacenterregistratie op de knooppunten. De werkers van één applicatiecluster staan gelijkmatig over de werkerknooppunten verdeeld, zodat na uitval van één werkerknooppunt of rek alle machines op de overige passen en een cluster met drie werkers er ten minste twee houdt.

Het rek is het foutdomein van de werkervirtualisatie. Het gedrag bij uitval en het herstel staan in de tabel.

De werkervirtualisatie hangt bij start en herstel af van de fabric, de naam- en tijdvoorziening, het opslagcluster en het basisdienstencluster (containerregistry, geheimenbeheer en toegangsvoorziening), niet van het vlootbeheer of het clusterbeheer. Binnen de werkervirtualisatie is de volgorde: de besturing, de werkerknooppunten één voor één, het netwerkbeleid ‘Available’, een gezonde opslagkoppeling en dan de machines.

Na uitval van een server start een machine pas elders nadat die server aantoonbaar is uitgesloten; er is geen automatische herstart. De dienstdoende platformbeheerder sluit de server via iLO uit en start de machines elders, met als norm 30 minuten na de melding. Zo draaien er nooit twee exemplaren van één machine.

Een defecte server volgt een herstartpad, een ander scenario dan live-migratie: de machines liggen stil tot zij na uitsluiting van de server elders zijn gestart. De applicatieclusters vangen het verlies van hun werkers op.

Van de werkervirtualisatie zelf worden de clusterobjecten dagelijks en bij iedere wijziging geëxporteerd en wordt de configuratiedatabase iedere 6 uur in een momentopname vastgelegd, beide versleuteld en met een kopie buiten de cel. Rootvolumes van werkers krijgen geen back-up: werkers ontstaan opnieuw uit hun NodePool. Volumes van applicatieclusters krijgen hun back-up binnen het cluster, met OADP. Van virtuele servers zet OADP met de plug-in kubevirt dagelijks een momentopname van de schijven in de objectopslag van de cel, waar de back-upvoorziening van RWS ze ophaalt met een identiteit die alleen mag lezen.

De werkervirtualisatie is uit code opnieuw op te bouwen uit de opslagplaats Platform, met de configuratiedatabase en de clusterobjecten uit de back-up en de inhoud van de virtuele schijven uit hun back-up; de werkers ontstaan opnieuw uit de NodePools. Zij heeft een back-up met een onveranderbare kopie buiten de cel en staat met haar herstelvolgorde in het continuïteitsplan.

Bij herstel zonder gezonde cel worden de koude reserveserver en enkele werkerknooppunten van de werkervirtualisatie losgekoppeld van de vloot en vanuit de herstelkern opnieuw geïnstalleerd.

Een virtuele server wordt hersteld uit een kopie in de objectopslag van de cel of uit Cohesity: eerst gecontroleerd in de herstelomgeving, daarna teruggezet met OADP.

Bij een incident stopt platformbeheer samen met het SOC de getroffen machine of haalt haar van haar netwerk, maakt een momentopname voor onderzoek en haalt een aangetast knooppunt uit de vloot om het opnieuw te installeren.