1 open besluit1414 voorstellen

Onderwerp

Uitrol, beproeving en fasering

Hoe platformwijzigingen cel voor cel worden uitgerold, welke omgevingen er naast productie zijn, wat vóór de ingebruikname van een cel wordt beproefd, welke draaiboeken en taken er zijn, en hoe de samenstelling langs het groeipad groeit.

Nog niet bevestigd door een mens. Eigenaar: vdo89. Bron in de atlas

Domein
Volgt uit
Functies
Producten
Verwant

Wat het is

Een platformwijziging gaat eerst naar de leeromgeving en dan cel voor cel, in een vaste volgorde van platformclusters en uitrolgolven. Naast de productie zijn er een leeromgeving, een proefgroep, een herstelomgeving en tijdelijk een overgangskoppeling in AM2.

Vóór de ingebruikname van een cel worden rekuitval, koude start, uitval, aanval en overname beproefd, met vastgelegde draaiboeken en taken. De samenstelling groeit in fasen langs het groeipad.

Waarom zo

Gespreid wijzigen begrenst de gevolgen van een fout: cel 2 krijgt een wijziging pas als cel 1 de stap zonder open bevinding heeft doorlopen. Beproeving op de echte apparatuur toont wat de leeromgeving niet kan, zoals gedrag onder belasting.

De fasering volgt het groeipad. De uitwerking per fase, de omgevingen en de draaiboeken zijn een voorstel dat iedere stap koppelt aan een voorwaarde die eerst moet zijn aangetoond.

Uitspraken

1 vastgesteld15 voorstellen

Alle 15 voorstellen vaststellen

Uitrol over de cellen

VoorstelOntwerpbesluit#

Een platformversie gaat eerst naar de leeromgeving en dan per cel naar het vlootcluster (multicluster engine en vlootbeheer), het basisdienstencluster, het clusterbeheer, de werkervirtualisatie en daarna de gehoste clusters in de uitrolgolven proefgroep, golf-1 en golf-2. Mislukt een stap, dan blijft de rest op de vorige, ondersteunde versie.

Toelichting

De gedeelde regel voor gespreid wijzigen noemt de proefgroep als eerste stap na de leeromgeving; hier gaan de platformclusters vóór de proefgroep, omdat de gehoste clusters op hen steunen. Beide lezingen staan naast elkaar tot de architect erover besluit.

VoorstelRegel#

Een platformwijziging gaat eerst naar cel 1 en pas na een stap zonder open bevinding naar cel 2, nooit in één venster naar beide; iedere cel krijgt een eigen venster. Beide cellen blijven op een bevestigde combinatie binnen de ondersteuningstermijn.

Toelichting

Zo wordt gespreid bijgewerkt. Gecontroleerd met het uitrolverslag en de toets gefaseerde uitrol met proefgroep.

VoorstelRegel#

Het opslagcluster volgt zijn eigen ritme. Vraagt Data Foundation een nieuwere Ceph Storage, dan gaat het opslagcluster vóór de OpenShift-clusters van zijn cel, in de volgorde RHEL, Ceph Storage, Data Foundation en OpenShift.

Omgevingen

VoorstelWaarde#

Naast de productie kent de samenstelling deze interfaces en omgevingen, elk met een eigen afnemer, isolatie en grens.

Interface of omgevingAfnemerIsolatieGrensBijzonderheden
Plaats voor een applicatieclusterApplicatieteams via het leverpadEigen segment in het routeringsdomein van het profiel; gehoste besturing op het clusterbeheer, werkers op de werkervirtualisatieZeven plaatsen in cel 1, ook voor de proefgroepIn de eerste levering alleen cel 1
Tweede exemplaar in de andere celDiensteigenaar van een bedrijfskritische dienstEigen cluster, geheimen en toegang in de andere cel; geen gedeeld segmentCapaciteit na overname in de reserve van die celPas na de vrijgave voor bedrijfskritische productie
VlootbeheerAlle OpenShift-clustersClusterset per cel en voor de vlootSamengevatte metingen, geen logboekenNiet het opslagcluster
HerstelomgevingPlatformbeheer en de eigenaar van de dienstHerstelzone; eigen aanmelding, geheimen en netwerkEén gehoste besturing en drie werkers; opbouw binnen 90 minutenNa afloop verwijderd
LeeromgevingOntwikkelteam en platformbeheerEigen rek en netwerkAcht serversBewijst werking en volgorde, geen prestaties, en vervangt de bevestiging van de leverancier niet
ProefgroepApplicatieteams die dat hebben afgesprokenHun clusters in cel 1 met het label uitrolgolf proefgroep; eerst het cluster van de testtoepassing van het eerste applicatieteamBinnen de zeven plaatsen; geen apart proefclusterVóór golf-1 en golf-2
Overgangskoppeling in AM2Verhuizende toepassingen en het bestaande AI-clusterOvergangsdomein (vrf-overgang), per toepassing een vastgelegde stroom met eigenaar en einddatumVervalt na de overgangParallelle migratie
VoorstelOntwerpbesluit#

De leeromgeving staat in één eigen rek van cel 1, met acht servers van dezelfde typen: drie opslagknooppunten voor een klein opslagcluster met de server als foutdomein, drie werkerknooppunten voor de werkervirtualisatie, één besturingsknooppunt en één koude reserveserver. Een vlootcluster met eigen hub, een clusterbeheer en een basisdienstencluster draaien compact op virtuele machines daarvan; het netwerk volgt de eerste fase van de netwerklevering.

Toelichting

Zo zijn alle proeven die in de leeromgeving horen uitvoerbaar; zij bewijzen werking en volgorde, geen prestaties. Dat restrisico is aanvaard, begrensd door de rekuitvalproef en de acceptatie onder belasting in cel 1.

VoorstelRegel#

De leeromgeving bevat geen RWS-gegevens, heeft geen RWS-koppelingen en heeft geen aansluiting op de fabric van de cel.

Toelichting

Zo wordt er zonder risico geoefend. Gecontroleerd met een controle van de leeromgeving.

VoorstelOntwerpbesluit#

Het bestaande opslagcluster in AM2 wordt parallel gemigreerd: de bron blijft in bedrijf en de onafhankelijke back-up bewaard tot de bestemming applicatieconsistent is geaccepteerd; pas dan wordt bronhardware hergebruikt. De planning bevat de overlapcapaciteit en een migratie per gegevensverzameling met een terugvalpad. Na acceptatie van de verhuisde toepassingen worden het overgangsdomein en het overgangsopslagcluster opgeheven.

Toelichting

Eigenaar: platformbeheer en de gegevenseigenaren, met netwerk- en opslagbeheer voor de afronding.

Beproeving

VoorstelOntwerpbesluit#

In iedere cel worden vóór de ingebruikname een rekuitval en een koude start op de echte apparatuur beproefd.

Toelichting

Gevolg: extra proeven bij de acceptatie van het herstel en bij de opbouw van cel 2.

VoorstelEis#

De proeven van de samenstelling horen bij de acceptatie van de fysieke basis en van het herstel en bij de opbouw van cel 2, elk met eigenaar, slaagcriterium en bewaard resultaat.

ProefWat wordt aangetoond
RekuitvalAlle servers van één rek gaan tegelijk uit bij de hoogste toegelaten vulling: geen cluster ligt stil en de opslagbescherming is binnen 8 uur terug; één keer per cel vóór ingebruikname.
Koude startEen cel start volgens de opstart- en herstelvolgorde, met noodtoegang totdat de overige basisdiensten weer draaien en met gemeten duur per stap.
Uitval van vlootbeheer en koppelingDe clusters draaien door en iedere cel werkt zelfstandig.
Aanval en herstelHerstel na een aanval met een gecompromitteerd vlootbeheer en, in groeipadstap 2, herstel zonder gezonde cel.
OvernamePer bedrijfskritische dienst overname en terugkeer, ook met cel 1 onbereikbaar, zonder het versiebeheer van cel 1 en bij een asymmetrische verbindingsstoring.
Negatieve proevenGeen account met beheerrechten in beide cellen; geen stroom van de herstelzone buiten de vaste stromen; geen stroom tussen de cellen buiten de vastgelegde stromen; geen certificaat uit de tussen-CA ‘vloot’ buiten de dienstnamen van bedrijfskritische diensten; een tweede vlootcluster wordt niet actief zolang het eerste niet is uitgesloten.

Draaiboeken en taken

VoorstelWaarde#

Voor de samenstelling zijn deze draaiboeken nodig; de draaiboeken per cluster staan bij de clusters.

DraaiboekHandeling op hoofdlijnenEigenaarBeproefd in
Opbouw van een celCelwaarden en registratie gereed; clusters in de vastgelegde bouwvolgorde; bewijs per bouwstapPlatformbeheer, tot de overdracht het ontwikkelteamOpbouw van cel 1 en cel 2
Koude start van een celStappen van de opstart- en herstelvolgorde; noodtoegang tot de beheerwerkplek werkt, daarna vervangenPlatformbeheer met netwerk- en opslagbeheerVóór de ingebruikname van iedere cel
Uitval van een rekGeen ingreep zolang ieder cluster quorum heeft; na terugkeer knooppunten terug en capaciteit controlerenPlatformbeheer met opslagbeheerRekuitvalproef
Vervanging door de koude reserveserverWerkerknooppunt uitsluiten; reserveserver op de basislijn en in het cluster; defecte server afvoeren of gewist als nieuwe reserveserverPlatformbeheerAcceptatie van het clusterbeheer
Overname van een bedrijfskritische dienstBesluit; uitsluiting met de rechten van de getroffen cel; promotie; dienstnaam omzetten; controle langs het gebruikerspad; meldingPlatformbeheer, met de diensteigenaarToets herstel na een aanval, ook bij een asymmetrische verbindingsstoring; vrijgave voor bedrijfskritische productie
Terugkeer na overnameGetroffen cel herstellen, oud exemplaar bijwerken, gecontroleerd leidend makenPlatformbeheer, met de diensteigenaarSamen met de overname
Herstel van vlootbrede voorzieningen in cel 2Oud exemplaar uitsluiten; versiebeheer uit de onveranderbare kopie; vlootcluster op zijn hersteldoel; vlootbrede rollen en aanmelding naar cel 2; bouw- en portaalcluster uit codePlatformbeheerGroeipadstap 2: toetsen uitval van het vlootbeheer en herstel na een aanval
Herstel zonder gezonde celHerstel vanuit de herstelkern, vóór groeipadstap 2 na verlies van AM4 op vervangende servers; daarna de cel volgens de opstart- en herstelvolgordePlatformbeheer met de CISO-functieGroeipadstap 2: toets herstel na een aanval
Verlies van de koppelingCellen werken zelfstandig; geen overname zonder vastgestelde uitval; daarna replicatie controlerenNetwerkbeheer met platformbeheerTestset van het datacenternetwerk
Isolatie van een cel bij een incidentKoppeling en vlootbrede rechten naar de getroffen cel intrekken; back-upvoorzieningen afschermenPlatformbeheer met het SOCAanvalssimulatie
Uitrol van een platformversieVastgelegde uitrolvolgorde; per cel een eigen vensterPlatformbeheerToetsen gefaseerde uitrol met proefgroep en gecontroleerd bijwerken per laag; updateproef
Uitbreiding met servers of een rekGroeibesluit, registratie, basislijn, plaats volgens de rekindelingPlatformbeheer met netwerk- en opslagbeheerBij iedere uitbreiding
Afronding van de overgang van AM2Na acceptatie van de verhuisde toepassingen het overgangsdomein en het overgangsopslagcluster opheffen; bronhardware pas daarna hergebruikenPlatformbeheer met netwerk- en opslagbeheerAfronding van de overgang in AM2
VoorstelRegel#

Ieder draaiboek van de samenstelling staat in de opslagplaats Draaiboeken en is beproefd vóór de ingebruikname van de cel; primaire en plaatsvervangende beheerders voeren de draaiboeken vóór de overdracht zelf uit.

Toelichting

Zo kan beheer ze uitvoeren. Gecontroleerd met de controlelijst voor de overdracht.

VoorstelWaarde#

Platformbeheer is eindverantwoordelijk voor de samenstelling. PKI-beheer geeft iedere cel haar tussen-CA en de vloot de tussen-CA ‘vloot’ voor de dienstnamen van bedrijfskritische diensten; IAM-beheer voedt het identiteitsbeheer van iedere cel uit RWS-HR en de directory. Tot de overdracht voert het ontwikkelteam de taken van platformbeheer uit, met tijdelijke, taakgebonden rechten.

ActiviteitPlatformbeheerNetwerkbeheerOpslagbeheerCISO-functie en SOC
Samenstelling, rekindeling en celwaardenA/RCCI
Fysieke basis van een celA/RRCI
Koppeling tussen de cellenCA/RIC
Maatregelen en beproeving van de vlootbrede voorzieningenRCCA
Continuïteitsplan met opstart- en herstelvolgordeA/RCCC
Koude start van een celA/RRRI
Overname en terugkeer van een bedrijfskritische dienstR (A: diensteigenaar)RCI
Herstel zonder gezonde cel vanuit de herstelkernA/RRRC
Reserve voor uitval, herstel en overnameA/RICI
Uitrolvolgorde van platformwijzigingen over de cellenA/RCCI
Overgang van AM2A/RRRI
Toelichting

R is uitvoerend, A eindverantwoordelijk, C geraadpleegd en I geïnformeerd.

VoorstelRegel#

Iedere gedeelde voorziening en iedere taak van de samenstelling heeft één eindverantwoordelijk beheerdomein; voor een geërfde voorziening legt de dienstafspraak met de leverende RWS-dienst het koppelvlak en het bewijs vast.

Toelichting

Zo is er geen voorziening zonder eigenaar.

VoorstelRegel#

Een afwijking van de rekindeling, de celgrens of de koppeling tussen de cellen is een goedgekeurde uitzondering met eigenaar, compenserende maatregel en een einddatum van ten hoogste zes maanden.

Toelichting

Gecontroleerd in het uitzonderingsregister.

Fasering

VastgesteldUitgangspunt#

De samenstelling groeit langs het groeipad. Groeipadstap 1 bouwt het vlootbeheer en beheercel 1 in AM4, met de eerste dienst in het profiel ontwikkelen en beproeven. Groeipadstap 2 bouwt beheercel 2 in AM2 uit dezelfde code, beproeft uitval en aanval met twee cellen, ook herstel zonder gezonde cel, en maakt overname van bedrijfskritische diensten mogelijk. Groeipadstap 3 voegt AI-capaciteit toe en herhaalt de standaard; groeipadstap 4 breidt op dezelfde basis uit met gespecialiseerde clusterdiensten.

VoorstelWaarde#

De samenstelling doorloopt deze fasen, elk met een voorwaarde voor de volgende.

FaseInhoudGroeipadstapVoorwaarde
0 LeeromgevingAcht servers in een eigen rek van cel 1; installatie, update en herstel geoefendVóór de fysieke basis van cel 1Eerste fase van de netwerklevering
1 Fysieke basis cel 1Servers volgens de rekindeling, firmwarebasislijn, netwerken, naam en tijd1Fabric van cel 1 opgeleverd
2 Fundament cel 1Opslagcluster, basisdiensten, vlootbeheer, werkervirtualisatie, clusterbeheer, ingang, beveiligingsbaseline, bewaking en herstel, in de vastgelegde bouwvolgorde1Rekuitval en koude start beproefd
3 Eerste dienstSoftwarelevering, portaal, applicatiecluster als dienst, beheerde database en koppelingen, in het profiel ontwikkelen en beproeven1Acceptatieproeven van de eerste levering
4 Cel 2 in AM2Opslagcluster naast het overgangsopslagcluster; cel uit dezelfde code met de extra werkerknooppunten van de werkervirtualisatie; eigen exemplaren van de basisdiensten; herstelplaats van het vlootbeheer; eigen bewakingsvoorziening2Nieuwe fabric in AM2 opgeleverd
5 Uitval en aanval beproefdProeven van de bewijsset met twee cellen, vlootbrede voorzieningen apart2Continuïteitsplan vastgesteld
6 Vrijgave voor reguliere en bedrijfskritische productieReguliere productie na de vrijgave daarvoor; bedrijfskritische productie per dienst na overname en terugkeer2Eigen bewakingsvoorziening in bedrijf
7 Overgang van AM2 afgerondOvergangsopslagcluster opgeheven; geen stroom meer over het overgangsdomein2 en 3Parallelle migratie afgerond
8 AI en herhalingGPU-knooppunten als eigen groep in de werkervirtualisatie, met één als reserve; IPv6 aan de rand; het dienstennetwerk na beproeving, met zijn besturingscluster op een plaats van het clusterbeheer3Groeibesluit per uitbreiding
9 Gespecialiseerde dienstenApplicatieomgeving voor containers, containers die met de vraag meegroeien, functies op aanvraag en werkstromen als dienst op dezelfde basis; locaties via het RWS-WAN; een volgende cel bij aantoonbare behoefte4Ontwerpbesluit over een volgende cel

Verwijzen hiernaar

Onderwerpen 2