Onderwerp
Nog niet bevestigd door een mens. Eigenaar: vdo89. Bron in de atlas
De fysieke basis van een cel is geregistreerde apparatuur op een vaste firmwarebasislijn, gescheiden netwerken en één gecontroleerde route waarlangs software binnenkomt. Zij ligt vast vóór er software wordt geïnstalleerd. De opbouw gebeurt in een afgeschermd netwerk zonder directe internettoegang, vanaf een voorlopige beheerwerkplek. De servertypen zelf staan bij de apparatuur van de clusters.
Fouten in bekabeling, firmware of adressering zijn later lastig te vinden en tasten de betrouwbaarheid van alles daarboven aan. Omdat iedere server maar twee netwerkpoorten heeft, is de scheiding van verkeerssoorten logisch en ligt zij in drie lagen; de gedeelde kaart is daarbij een benoemd restrisico.
Het voorstel laat de regel dat alle software langs één gecontroleerde route komt vanaf de eerste dag gelden. Het netwerkplan bevat voorbeeldwaarden; netwerkbeheer legt de definitieve waarden vast.
De fysieke basis van een cel, geregistreerde apparatuur op een vaste basislijn, gescheiden netwerken en één gecontroleerde route waarlangs software binnenkomt, ligt vast vóór de installatie van software.
Fouten in bekabeling, firmware of adressering zijn later lastig te vinden en tasten de betrouwbaarheid van alles daarboven aan.
De opbouw gebeurt in een afgeschermd netwerk zonder directe internettoegang. Software van leveranciers komt alleen via één gecontroleerde route binnen: spiegelen naar een tijdelijke registry op de beheerwerkplek, met controle van handtekeningen en controlesommen. Code en installatiebestanden staan in een tijdelijk versiebeheer, tot het basisdienstencluster de definitieve containerregistry en het versiebeheer levert; de inhoud van beide wordt herstelbaar vastgelegd.
Zo gelden de regel dat clusters geen internet hebben en alle software langs één gecontroleerde route komt, en het versiebeheer van de opbouw, vanaf de eerste dag. Afgewezen: tot de basisdiensten er zijn via de proxy rechtstreeks vanaf internet installeren. Dan is de herkomst van containerbeelden alleen per beeld en achteraf te controleren, en zou de regel pas gelden na de bouw van de eerste clusters.
Tijdens de opbouw starten installaties uitsluitend vanaf een voorlopige, geharde beheerwerkplek in het beheernetwerk: een toegangsgateway met meerfactoraanmelding en opname van alle sessies, één beheerserver met hulpmiddelen en geharde beheerapparaten. Persoonlijke accounts met meerfactoraanmelding zijn er al vóór het basisdienstencluster. Tot de definitieve beheerwerkplek op het basisdienstencluster is geaccepteerd, geldt aanmelding met TOTP als goedgekeurde uitzondering met die einddatum; de sessieopnamen en logboeken van de voorlopige werkplek blijven bewaard en gaan over naar de definitieve.
TOTP is niet phishingbestendig. Dat restrisico is aanvaard, begrensd door de geharde beheerapparaten, de opname en de einddatum van de uitzondering.
Vóór de installatie van software is aangetoond en vastgelegd dat iedere server in de registratie staat met serienummer, locatie, bekabeling en adressen; dat alle servers van hetzelfde type dezelfde firmware hebben, met beveiligde opstart en TPM aan; dat de netwerktests slagen; dat de naam- en tijdvoorziening onafhankelijk van het platform bereikbaar is; en dat installaties alleen vanaf de beheerwerkplek plaatsvinden.
Het verslag van die uitgangssituatie, met apparatuur, firmwareversies, bekabeling en netwerktests, is het bewijs dat de fysieke basis gereed is.
Iedere server, kabel, poort, adresreeks en domeinnaam staat vóór aansluiting in de datacenterregistratie. Zodra die op het basisdienstencluster draait, is zij de enige bron voor de automatisering. Rekposities, hostnamen en adressen staan alleen daar en in de uitwerking per locatie.
Nodig voor automatisering en herleiding. Gecontroleerd met het inventarisrapport.
De rekposities, assetnummers en de feitelijke capaciteit per cel worden in de inventaris vastgelegd.
Alle servers van één type in een cel volgen dezelfde firmwarebasislijn met dezelfde instellingen, ook voor de servermanagementinterfaces. Een afwijking is binnen 30 dagen hersteld; bij een firmwarekwetsbaarheid geldt de kortere termijn voor kwetsbaarheden. De basislijn staat in het firmwarebeheer (HPE OneView), en updates lopen via het serverprofiel in het onderhoudsvenster, server voor server.
Eén werkwijze voor firmware. Bewijs: het basislijnverslag met de geïnstalleerde versies en het nalevingsrapport van het firmwarebeheer; een afwijking ouder dan 30 dagen wordt gemeld.
Servers starten alleen met door de leverancier ondertekende firmware en opstartsoftware: beveiligde opstart (UEFI Secure Boot) en de TPM 2.0 staan op alle servers aan, ingesteld via de serverprofielsjablonen van het firmwarebeheer. Bij de ingebruikname worden ook de standaardwachtwoorden van de servermanagementinterfaces vervangen en ongebruikte diensten uitgeschakeld.
De besturingssystemen van de knooppunten ondersteunen beveiligde opstart. Bewijs: het nalevingsrapport van het firmwarebeheer.
Een server met een mislukte firmware-update wordt per onderdeel hersteld via het servicepakket van de leverancier, omdat de vorige versie niet vanzelf nog opstartbaar is. Een netwerkwijziging wordt via het apparatuurbeheernetwerk teruggedraaid naar de laatst vastgelegde configuratie.
Iedere server heeft één bundel over het leaf-paar van zijn rek, met EVPN-multihoming (ESI-LAG), waarover alle netwerken van de server als gescheiden VLAN’s lopen. Servermanagement heeft een eigen poort, alleen bereikbaar vanuit het apparatuurbeheernetwerk en zonder standaardaccounts. Uitval van een poort, kabel of leaf onderbreekt zo geen verbinding blijvend.
Gecontroleerd met de netwerktests van de fysieke basis.
Omdat iedere server maar twee netwerkpoorten heeft, is de scheiding per verkeerssoort logisch, in drie lagen. De eerste zijn de VLAN’s op de bundel. De tweede is een eigen routeringsdomein per zone in het datacenternetwerk, waarin opslag- en live-migratienetwerken zonder gateway alleen op laag 2 binnen de cel bestaan, met toegangslijsten op de leaf van het opslagnetwerk. De derde ligt in de clusters: gedeclareerde netwerken en netwerkbeleid, behalve op secundaire interfaces en het hostnetwerk.
Fysieke scheiding per verkeerssoort is met twee poorten per server niet mogelijk. Zonder gateway is er geen route van de applicatienetwerken naar de opslag; omdat een netwerk zonder gateway de werkers nog niet van elkaar scheidt, staan er toegangslijsten op de leaf.
Iedere cel heeft hetzelfde VLAN- en VNI-plan met een eigen, niet-overlappende adresreeks. Dit zijn de voorbeeldwaarden voor cel 1; netwerkbeheer legt de definitieve waarden vast in de datacenterregistratie.
| Netwerk | Functie | VLAN | Scheiding | Waar | MTU |
|---|---|---|---|---|---|
| Apparatuurbeheer | Servermanagement en beheer van netwerkapparatuur | 600 | Eigen routeringsdomein beheer | Aparte beheerpoort van iedere server | 1500 |
| Platformbeheer | Knooppunten, API-adressen en uitgaand verkeer van de platformclusters | 610 | Routeringsdomein platform | Alle knooppunten; ongetagd op de bundel | 1500 |
| Opslag, toegang | Blok- en bestandsopslag tussen clusters en het opslagcluster | 620 | Laag 2 zonder gateway; toegangslijsten op de leaf: alleen naar opslagknooppunten en objectgateways, niet tussen werkers | Opslagknooppunten en knooppunten van clusters met directe opslagtoegang, ook hun virtuele werkers | 9000 |
| Opslag, intern | Replicatie binnen het opslagcluster | 621 | Alleen laag 2, geen gateway | Alleen opslagknooppunten | 9000 |
| Objecttoegang | Virtuele adressen van de objectgateways, één voor het platform en één per dienstprofiel van afnemers, voor de containerregistry, back-ups en logboeken, en voor de back-upvoorziening van RWS (alleen lezen) | 622 | Routeringsdomein platform; zoneregels | Opslagknooppunten; als client ook de werkerknooppunten van het clusterbeheer, voor back-ups | 1500 |
| Live-migratie | Verhuizen van virtuele machines tussen werkerknooppunten | 630 | Alleen laag 2, geen gateway | Werkerknooppunten van de werkervirtualisatie | 9000 |
| Ingangszone | Virtuele adressen van de externe verkeersverdeling | 640 | Routeringsdomein ingang | Basisdienstencluster | 1500 |
| Virtuele machines | Gewone virtuele machines van afnemers | 650 (ontwikkelen en beproeven), 651 (regulier) en 652 (bedrijfskritisch) | Routeringsdomein van het profiel | Werkerknooppunten van de werkervirtualisatie, als gedeclareerd netwerk | 1500 |
| Werkers per applicatiecluster | Eén VLAN per cluster voor zijn virtuele werkers en ingang | 1000–1999 | Routeringsdomein van de zone | Werkerknooppunten van de werkervirtualisatie, één gedeclareerd netwerk per cluster | 9000 |
| Werkers per gehost platformcluster | Eén VLAN per bouw-, portaal- of besturingscluster van het dienstennetwerk voor zijn virtuele werkers en ingang; adressen via DHCP-doorgifte naar Infoblox | 700–709 | Routeringsdomein platform | Werkerknooppunten van de werkervirtualisatie, één gedeclareerd netwerk per cluster | 9000 |
| EVPN-koppelvlak | Tunneleindpunten van clusters met fysieke werkers die een bestaand netwerkverband koppelen | 660 | Onderlaag van het datacenternetwerk | Clusters met fysieke werkers en zo’n koppeling | 9000 |
De opslagnetwerken en hun MTU liggen vast in het ontwerp van de opslag. De herstelzone (VLAN 690) staat daarnaast in iedere cel klaar.
Netwerkbeheer legt de definitieve adresreeksen, VLAN’s en zones per cel vast in de datacenterregistratie en wijst bij het maken van een applicatiecluster het VLAN voor zijn werkers toe. Het opslagclientnetwerk is per cel een beheerd laag-2-segment van /22, met per werker een statisch adres uit een reeks per cluster, gereserveerd in Infoblox, geregistreerd in NetBox en vastgelegd in de clusterdefinitie, zonder DHCP. De herstelomgeving heeft een eigen netwerk in een eigen routeringsdomein, met statische adressen uit de herstelreeks; dat netwerk staat er altijd, zodat bij een incident geen netwerk hoeft te worden aangevraagd.
Alle verkeerssoorten van een server delen twee poorten; behalve bij opslagknooppunten zitten die op één kaart en dus in één foutdomein, en een kaartstoring raakt de hele server. Prioriteit per VLAN op de switches, een begrensde bandbreedte per migratie en een melding bij 60 procent bezetting van een bundel, per poort en richting, houden hinder tussen opslag- en migratieverkeer zichtbaar en beheersbaar; die drempel wordt onder uitval beproefd.
Bij 60 procent past het verkeer na uitval van een poort niet meer op de andere. De gedeelde kaart is een benoemd restrisico; blijkt in de leeromgeving dat een onderdeel toch een eigen kaart nodig heeft, dan is een tweede kaart in het vrije uitbreidingsslot de terugvaloptie.
De netwerktests tonen per netwerk de juiste scheiding en MTU: beheerinterfaces zijn alleen bereikbaar vanuit het apparatuurbeheernetwerk en voor de bewaking, opslagadressen zijn onbereikbaar vanuit de applicatienetwerken en op het opslagnetwerk alleen bereikbaar voor de toegestane clients. Het lostrekken van één kabel van een bundel onderbreekt geen verbinding blijvend; omschakeltijd en pakketverlies worden gemeten.
Toegang tot datacenterruimte en rekken is op naam en wordt vastgelegd; rekken zijn afgesloten en bezoek wordt begeleid. Het toegangsbeheer van het datacenter en de bezoekersregistratie zijn geërfd.
Bewijs: het toegangslogboek van het datacenter en het kwartaalrapport van facilitair beheer.
Een server of schijf die het datacenter verlaat, bevat geen leesbare gegevens. Een schijf die vanaf het eerste gebruik versleuteld is, wordt cryptografisch gewist door de sleutel en alle kopieën ervan te vernietigen; anders, of als een kopie van de sleutel blijft bestaan, volgt fysieke vernietiging met certificaat.
De status staat in NetBox; het vernietigingsverslag loopt van overdracht tot vernietiging.
Iedere cel gebruikt ten minste twee interne tijdbronnen, geërfd van de tijdvoorziening van netwerkbeheer. De afwijking is ten hoogste 1 seconde; een verschil tussen de bronnen wordt gemeld. De tijd loopt via chrony, ingesteld bij de installatie; Ceph meldt klokverschillen zelf.
Een tijdsafwijking verstoort certificaten, opslag en clusters. Bewijs: de meting in de bewaking, met meldingen voor een niet-gesynchroniseerde klok en voor tijdsverschil.
De bestaande naam- en tijdvoorziening van RWS is vanuit alle gerouteerde netwerken betrouwbaar bereikbaar, onafhankelijk van het platform. De afspraak daarover met netwerkbeheer ligt vast in een dienstafspraak.