2 open besluiten1414 voorstellen

Onderwerp

Back-up per laag

Ieder onderdeel heeft een eigen back-up, zodat het consistent terug te zetten is: clusterobjecten en volumes, configuratiedatabases van besturingen, databases, geheimenbeheer, containerregistry en versiebeheer. Schema’s, buckets, meldingen en de softwarestapel liggen daarvoor vast.

Nog niet bevestigd door een mens. Eigenaar: vdo89. Bron in de atlas

Domein
Volgt uit
Functies
Producten
Verwant

Wat het is

Ieder onderdeel van het platform heeft een eigen back-up, met een werkwijze die bij dat onderdeel past: OADP voor clusterobjecten, volumes en virtuele machines, momentopnamen voor de configuratiedatabases van de besturingen, een transactielogboek voor databases en eigen exports voor geheimenbeheer, containerregistry en versiebeheer. Het vlootbeheer rolt de inrichting uit, iedere back-up heeft een eigen bucket, en een overzicht per cel toont het laatste herstelpunt.

Waarom zo

Eén back-upmethode voor alles geeft geen consistent herstel: een database zonder transactielogboek of een momentopname zonder sleutels is niet bruikbaar. Per laag de juiste methode maakt ieder onderdeel afzonderlijk en samenhangend terug te zetten. Omdat de inrichting als code meekomt met ieder cluster, wordt geen cluster zonder back-up geleverd.

Schema’s, bewaartermijnen, drempels en versies zijn een voorstel; ze vullen het back-upbeleid van RWS in.

Uitspraken

1 vastgesteld1 in besluitvorming20 voorstellen

Alle 20 voorstellen vaststellen

Per laag consistent

VastgesteldOntwerpbesluit#

De back-up wordt per laag gemaakt, zodat ieder onderdeel consistent te herstellen is: clusterobjecten, volumes en virtuele machines met OpenShift API for Data Protection (OADP); de configuratiedatabases van platformclusters en gehoste besturingen met etcd-momentopnamen; databases met een volledige back-up en een doorlopend transactielogboek; het geheimenbeheer met Raft-momentopnamen; en de containerregistry en het versiebeheer van het platform met hun eigen back-up.

Toelichting

Iedere laag vraagt iets anders: een database een transactielogboek naast een volledige kopie, het versiebeheer samenhang tussen opslagplaatsen, bijlagen en database, en een etcd-momentopname de bijbehorende sleutels.

VoorstelRegel#

OADP-schema’s sluiten databasevolumes uit; iedere database heeft een eigen back-up met een doorlopend transactielogboek, via de Barman Cloud-plug-in van CloudNativePG.

Toelichting

De database krijgt een ObjectStore en een dagelijkse ScheduledBackup, met retentionPolicy 7d bij ontwikkelen en beproeven en 30d bij reguliere productie. Gecontroleerd met compliancebeleid. Herstel naar tijdstip hoort bij Beheerde databases & koppelingen.

VoorstelRegel#

Een etcd-back-up start niet zolang de versleuteling van etcd loopt, en na een momentopname is de afstemming van de besturing hervat.

Toelichting

Een gepauzeerd cluster geeft een melding.

Back-upschema

VoorstelWaarde#

Van ieder onderdeel gaat een versleutelde kopie naar Cohesity. Eigenaar is platformbeheer, tenzij anders vermeld.

OnderdeelWerkwijze en productFrequentieBewaren in de cel
ClusterconfiguratieVersiebeheer (opslagplaats Platform) en een OADP-export van de clusterobjecten van ieder clusterBij wijziging en dagelijks90 dagen
Configuratiedatabase van gehoste besturingenetcd-momentopname met de bijbehorende sleutelversie; OADP-back-up van de objecten van het gehoste cluster op het clusterbeheerMomentopname iedere 6 uur; objecten dagelijks30 dagen
Configuratiedatabase van platformclustersetcd-back-up met de procedure van het platform, voor vlootbeheer, clusterbeheer, werkervirtualisatie en basisdienstenclusterIedere 6 uur30 dagen
Volumes en virtuele machinesOADP-schema per naamruimte in het cluster zelf: CSI-momentopname en dataverplaatsing met Kopia, virtuele machines met de kubevirt-plug-in; zonder virtuele werkers en databasevolumesDagelijksBack-up 30 dagen; momentopname 7 dagen
DatabasesBarman Cloud-plug-in: dagelijkse volledige back-up en doorlopend transactielogboekDoorlopend en dagelijks7 dagen bij ontwikkelen en beproeven; 30 dagen bij reguliere productie en voor de basisdiensten; bij bedrijfskritische productie volgens de hersteleisen van de dienst
GeheimenbeheerRaft-momentopname van OpenBao via de snapshotagentIeder uur30 dagen
ContainerregistryConfiguratie, database en bucket van Quay als één herstelpuntDagelijks30 dagen
Versiebeheer van het platformforgejo dump met Forgejo in rust; doorlopende databaseback-up met de Barman Cloud-plug-inDagelijks en doorlopend90 dagen
Overige basisdienstenDatabases van Keycloak, midPoint (met keystore), Ansible Automation Platform, NetBox en de beheerwerkplek; configuratieback-up van NetScaler; de back-upfunctie van OneView; virtuele machines uit codeVolgens de inrichting per basisdienst30 dagen
VlootbeheerHubback-up met OADP naar de objectopslag van cel 1Dagelijks en vóór iedere hubupgrade30 dagen; vanaf groeipadstap 2 ook een kopie in cel 2
Besturing van het opslagclusterConfiguratiedatabase van de monitors met de schijfsleutels; eigenaar is opslagbeheerDagelijks en na iedere nieuwe OSD30 dagen
Virtuele servers als dienstOADP op de werkervirtualisatie met de kubevirt-plug-in, per naamruimte van de afnemer naar een eigen bucketDagelijks, vanaf groeipadstap 330 dagen
Toelichting

De configuratiedatabases krijgen iedere 6 uur een back-up in plaats van dagelijks, voor een kleiner herstelpunt van vlootbeheer, clusterbeheer, werkervirtualisatie en basisdienstencluster.

VoorstelOntwerpbesluit#

De lokale momentopname van 7 dagen is een tweede OADP-schema zonder dataverplaatsing, naast de back-up van 30 dagen met dataverplaatsing.

Toelichting

Momentopnamen en back-ups tellen mee in het verbruik van het opslagcluster; zij hebben geen eigen ruimte boven de vulgrenzen, die horen bij Opslag & foutdomeinen.

VoorstelOntwerpbesluit#

Het versiebeheer krijgt dagelijks een forgejo dump van opslagplaatsen, database en instellingen, gemaakt met Forgejo in rust, als één samenhangend herstelpunt; de doorlopende databaseback-up dient alleen voor herstel van de database. Dat geeft een korte onderbreking op een vast tijdstip, terwijl de clusters doordraaien.

Toelichting

Duurt de onderbreking langer dan de herstartnorm van 15 minuten voor het versiebeheer, dan volgt een samenhangende momentopname. Iedere opbouwproef begint met het terugzetten van deze dump.

VoorstelOntwerpbesluit#

De besturing van het opslagcluster, de configuratiedatabase van de monitors met de schijfsleutels, staat in het back-upschema, met opslagbeheer als eigenaar; de schijfsleutels zijn nodig voor herstel.

Toelichting

Hoe het opslagcluster zelf wordt hersteld, hoort bij Opslag & foutdomeinen.

VoorstelWerking#

Een OADP-back-up van een gehost cluster is alleen terug te zetten op hetzelfde clusterbeheer, zonder volumes, en het API-adres heeft een vaste hostnaam nodig. Bij externe infrastructuur neemt een back-up vanuit het clusterbeheer de gastvolumes niet mee. Daarom maakt ieder applicatiecluster zijn volumeback-ups zelf, met OADP en CSI-momentopnamen, en krijgt de gehoste besturing daarnaast etcd-momentopnamen.

Toelichting

Terugzetten op een herbouwd clusterbeheer is een voorwaarde bij de acceptatie van het clusterbeheer, en op het clusterbeheer van de andere cel vanaf groeipadstap 2 een voorwaarde bij de acceptatie van de herstelvoorziening. Terugvaloptie: opbouw uit code met het terugzetten van toepassingsobjecten, volumes en databases. De back-up binnen het gehoste cluster wordt bij de acceptatie aangetoond.

VoorstelWaarde#

In de eerste levering beschermt de back-up het vlootcluster, het clusterbeheer, de werkervirtualisatie en het basisdienstencluster van cel 1, de besturing van het opslagcluster en ten hoogste negen gehoste clusters: het bouwcluster, het portaalcluster en zeven applicatieclusters, naast de plaats voor de herstelomgeving. Daarbij komen de databases van de basisdiensten en de beheerde databases in ontwikkelen en beproeven.

Toelichting

Bij zes werkerknooppunten in het clusterbeheer zijn er 24 plaatsen per cel; buckets, schema’s en ophaalvolume groeien dan mee zonder ontwerpwijziging. Cel 2 volgt in groeipadstap 2, met een kopie van de hubback-up.

Inrichting

VoorstelRegel#

Ieder onderdeel heeft een back-upschema als code, met ten minste een dagelijkse back-up die buiten het cluster wordt bewaard. Een cluster zonder schema wordt niet geleverd, en een ontbrekend of gewijzigd schema wordt gemeld en teruggezet.

Toelichting

Het vlootbeheer meldt een ontbrekende of gewijzigde OADP-inrichting en zet haar terug; de wekelijkse compliancescan toont de stand per cluster.

VoorstelRegel#

De automatisering maakt bij de levering van een cluster, en bij een nieuwe database, een eigen bucket met een opslaglocatie voor de back-ups. Iedere back-upbucket heeft een quotum, een eigen back-upgebruiker en een eigen back-upsleutel, en een applicatiecluster bereikt alleen zijn eigen buckets, ook die per database.

Toelichting

De buckets staan achter de objectgateways van de realm platform. Aangetoond met een negatieve proef: een applicatiecluster leest de bucket van een ander cluster niet.

VoorstelWaarde#

OADP heeft deze vaste instellingen.

InstellingWaarde
DataProtectionApplicationStandaardplug-ins openshift, aws, csi en kubevirt; defaultSnapshotMoveData true; nodeAgent met uploaderType kopia
OpslaglocatieBackupStorageLocation met provider aws naar de objectgateway van de cel, met s3ForcePathStyle en caCert
Schema’sSchedule per cluster en naamruimte; ttl 720 uur (30 dagen), voor de export van clusterobjecten 2160 uur (90 dagen); snapshotMoveData true
Toelichting

De ttl regelt alleen het opruimen in de objectopslag van de cel; de vergrendelde bewaring ligt bij Cohesity.

VoorstelRegel#

Verbindingen met de objectopslag en met Cohesity gebruiken TLS met controle van het certificaat: TLS 1.3 waar beide kanten dat ondersteunen, anders TLS 1.2. Iedere opslaglocatie en ObjectStore controleert het certificaat van de objectgateway met caCert, en het S3-eindpunt van Cohesity op dezelfde manier; insecureSkipTLSVerify komt niet voor.

Toelichting

Het certificaat van de objectgateway komt uit de PKI van het geheimenbeheer. Gecontroleerd met een configuratiescan en de TLS-scan.

VoorstelRegel#

Back-ups gebruiken de S3-interface en CSI-momentopnamen. DataLock en de formaten van Kopia en Cohesity zijn vastgelegde productafhankelijkheden, die bij iedere nieuwe versie worden beoordeeld.

Overzicht en meldingen

VoorstelWerking#

Het back-upoverzicht toont per cel en per onderdeel het laatste herstelpunt, de voltooiing van de kopie buiten de cel en de laatste geslaagde herstelproef, uit de metingen van de back-upsoftware en het kopieerverslag van Cohesity. Het staat in de samengevatte metingen van het vlootbeheer en vanaf groeipadstap 2 in de eigen bewakingsvoorziening; de eigenaar van een dienst ziet er zijn diensten in.

VoorstelWaarde#

Een mislukte of uitgebleven back-up, een achterstand van de kopie buiten de cel en krapte in capaciteit worden gemeld volgens deze drempels, zodat een achterstand opvalt voordat zij het herstelpunt raakt.

Grens of meetwaardeDrempelActie
Bucketquotum80 procent van het quotumMelding aan platformbeheer; het quotum verhogen via een wijzigingsvoorstel, binnen de grenzen van het opslagcluster
Capaciteit van CohesityMaandelijkse groei per cel; 80 procent van de toegewezen ruimteRapport aan back-upbeheer, dat dan uitbreidt; groeipadstappen worden vooraf gemeld
Duur van een ophaalrunLanger dan de helft van het ophaalintervalMelding aan netwerkbeheer en back-upbeheer, die de doorvoer vergroten of de runs spreiden
Reserve voor de herstelomgevingOnvoldoende voor de herstelomgeving, de herstelservers en het grootste terug te zetten clusterGeen herstelproef; bij een incident gaat herstel voor onderhoud
Back-up per onderdeelEerste mislukking, een uitgebleven geplande back-up of een laatste herstelpunt ouder dan anderhalf maal de frequentie in het schemaMelding aan platformbeheer
Achterstand van de kopie buiten de celOudste niet-opgehaalde back-up ouder dan 2 uur, of 26 uur bij dagelijks ophalenMelding aan platformbeheer en back-upbeheer
KopieerverslagAfwijkende controlesom, of een verdwenen of gewijzigde back-upMelding aan het SOC
Transactielogboek van databasesAchterstand naar de objectopslag van meer dan 5 minutenMelding aan platformbeheer
HerstelproefHersteltijd of gegevensverlies buiten het profiel; opbouw van de herstelomgeving boven 90 minutenBevinding met eigenaar en termijn; de proef wordt herhaald
HerstelkernOffline generatie ouder dan de platformversie in productie of dan 3 maandenMelding aan platformbeheer
Sleutels en leesidentiteitSleutel van de herstelkopieën ouder dan 1 jaar; sleutel van de leesidentiteit ouder dan 30 dagenMelding aan platformbeheer
Toelichting

Pogingen om back-ups of hun vergrendeling te wijzigen en massale verwijdering zijn detectieregels van het SOC, bij Bewaking, logging & inventaris. De vulgrenzen van het opslagcluster, waarin back-ups en momentopnamen meetellen, horen bij Opslag & foutdomeinen.

VoorstelOntwerpbesluit#

Het quotum van een back-upbucket begint op de som van de opslagquota die zij beschermt, bij een database maal het aantal bewaarde volledige back-ups, en wordt na 30 dagen bijgesteld op de gemeten groei.

VoorstelRegel#

Pogingen om back-ups of hun vergrendeling te wijzigen of te verwijderen, en massale verwijdering, gaan direct naar het SOC. De logboeken van back-up en herstel gaan naar de SIEM: OADP en de kopieertaak via de logverzamelaar, Cohesity via syslog en de objectgateway met toegangslogboeken. De audit van de herstelomgeving ontstaat in haar gehoste besturing op het clusterbeheer en bereikt het SOC langs de gewone weg, niet uit de herstelzone.

Toelichting

Gecontroleerd met de beproeving van de detectieregels en de bevestigde ontvangst bij het SOC.

Softwarestapel

In besluitvormingWaarde#

Back-up en herstel gebruiken deze producten en versies; de basisdiensten leveren hun eigen back-upfunctie.

ProductVersieRolVoorwaarde
OADP op Velero1.6 op Velero 1.18; plug-ins openshift, aws, csi en kubevirt; uploader KopiaBack-up van clusterobjecten, volumes en virtuele machinesVersie 1.5 noemt OpenShift 4.22 niet; restic bestaat in 1.6 niet meer
OpenShift met gehoste besturing4.22, met multicluster engine 2.12etcd-back-up; de herstelomgeving als gehost clusterEen OADP-back-up van een gehost cluster is alleen terug te zetten op hetzelfde clusterbeheer
OpenShift Virtualization4.22Virtuele werkers en virtuele machinesBack-up binnen het gehoste cluster aangetoond bij de acceptatie
CloudNativePG met de Barman Cloud-plug-in1.30.1; plug-in 0.15.0Volledige back-up en doorlopend transactielogboekVersie 1.31 verwijdert de ingebouwde methode; daarom direct de plug-in
OpenBao2.6.3Raft-momentopname ieder uur via de snapshotagentEigen beheer; de overstap naar 2.7 met een herstel van een momentopname van 2.6 in 2.7
Forgejo15.0 LTSforgejo dump van opslagplaatsen, database en instellingenEigen beheer; de overstap naar 19.0 LTS vóór 15 juli 2027, met een terugzetting van een dump van 15.0 in 19.0
Cohesity met DataLock en FortKnoxVersie van de bestaande RWS-omgevingOnveranderbare kopie en afgezonderde bewaarplaatsVoorwaarden bij de acceptatie
Clair bij Quay; eindpuntbeveiliging Windows Defender en TaniumQuay 3.18; de eindpuntbeveiliging van de RWS-dienstControle op besmettingVoorwaarden bij de acceptatie
Red Hat Ceph Storage, objectgateway9.1Objectopslag voor alle back-ups; Object Lock voor de vergrendelde kopieObject Lock alleen bij het aanmaken van een bucket, rechtstreeks op de objectgateway
Spiegelregistry en agent-based installerOnderdeel van OpenShift 4.22Herstelkern: installatie en beelden zonder werkende containerregistryDezelfde route als bij de opbouw
Toelichting

Voor de actuele versies en ondersteuningstermijnen gelden de feiten uit de publieke documentatie van de leveranciers; de levenscycluscontrole volgt ze.

VoorstelEis#

Bij de acceptatie van de herstelvoorziening werken deze productfuncties, elk met een terugvaloptie. De voorwaarden voor Cohesity lopen via back-upbeheer, die voor de eindpuntbeveiliging via het SOC.

VoorwaardeTerugvaloptie
OADP 1.6 met de kubevirt-plug-in werkt binnen gehoste clusters met externe infrastructuur, ook langs de tussenliggende upgradecombinatiesDe upgrade van het cluster wacht op een ondersteunde combinatie
OADP werkt met een eigen Kopia-sleutel per clusterEen eigen sleutel per bucket in de objectgateway
Vanaf groeipadstap 2 is een gehoste besturing op een ander clusterbeheer terug te zettenOpbouw uit code en het terugzetten van de gegevens
Cohesity haalt op met alleen leesrechtDe kopieertaak naar een vergrendeld S3-doel
Cohesity haalt ieder uur opDagelijks ophalen
Een herstelidentiteit op Cohesity die alleen leest en naar een herstelbucket terugzetBack-upbeheer zet zelf terug
Het S3-eindpunt van Cohesity heeft een certificaat uit de interne PKI (JustID)De keten van Cohesity in caCert
De eindpuntbeveiliging scant zonder verbinding buiten de herstelzone, met definities en indicatoren als ondertekend artefact uit de containerregistryEen open scanner met die indicatoren als vrijgegeven beeld
VoorstelRegel#

Back-upsoftware heeft de vastgelegde versies en gaat alleen langs ondersteunde combinaties mee. Een nieuwe versie volgt de vaste upgradevolgorde, en daarna wordt een back-up van vóór de upgrade teruggezet; na een upgrade van Cohesity worden een ophaalrun en een herstel beproefd.

Toelichting

Het upgradeverslag is het bewijs.

Verwijzen hiernaar

Onderwerpen 2
Besluiten 1