1 open besluit1414 voorstellen

Onderwerp

Netwerk en verbindingen

In welke netwerken het basisdienstencluster en zijn virtuele machines staan, welk verkeer het netwerkbeleid toelaat en welke verbindingen er van en naar het cluster lopen.

Nog niet bevestigd door een mens. Eigenaar: vdo89. Bron in de atlas

Domein
Volgt uit
Functies
Producten
Verwant

Wat het is

Het basisdienstencluster staat in het routeringsdomein platform; zijn virtuele machines staan deels in het apparatuurbeheer en de ingangszone. Dit onderwerp legt vast welke netwerken het gebruikt, hoe adressen en namen zijn geregeld, wat het netwerkbeleid toelaat en welke verbindingen er van en naar het cluster lopen. Het netwerk zelf staat in Netwerk, ingang & zones.

Waarom zo

Het cluster draagt de geheimen en de toegang van de cel en is daarom een aantrekkelijk doel. Knooppunten krijgen geen adres in het apparatuurbeheer of de ingangszone, en verkeer tussen naamruimten staat standaard dicht. Zo komt een aangetaste container niet verder dan zijn eigen vastgelegde stromen.

Taken op apparatuur lopen via twee uitvoeringsknooppunten in het beheernetwerk, zodat het routeringsdomein platform niet breed open hoeft naar het apparatuurbeheer.

Uitspraken

0 vastgesteld11 voorstellen

Alle 11 voorstellen vaststellen

Netwerken en adressen

VoorstelWaarde#

Het basisdienstencluster staat in het routeringsdomein platform, met het aansluitprofiel van een besturingsknooppunt. Ieder VLAN heeft een vast gebruik.

VLANGebruik
610Ongetagd; de knooppunten en het API- en ingangsadres van het cluster
620Het opslagcluster, op laag 2, met MTU 9000
622Objecttoegang in het routeringsdomein platform
600Apparatuurbeheer; alleen virtuele machines, zoals het firmwarebeheer, de uitvoeringsknooppunten en de platformpool
640Ingangszone; alleen virtuele machines, voor de externe verkeersverdeling
660Vanaf groeipadstap 3 het EVPN-koppelvlak
Toelichting

De teampool van de beheerwerkplek staat op het podnetwerk van het cluster.

VoorstelOntwerpbesluit#

Knooppunten hebben geen adres in VLAN 600 of 640; die VLAN’s zijn alleen via localnet (br-ex) aan virtuele machines gekoppeld. Zo heeft geen knooppunt of container een route naar het apparatuurbeheer of de ingangszone. Deze aansluitingen vallen buiten het netwerkbeleid van het cluster en staan in de dienstbeschrijving.

Toelichting

Aangetoond met netwerktests.

VoorstelRegel#

Adressen komen uit Infoblox en staan in NetBox. Het cluster heet api.c1-bd-01.c1.dc3.internal en *.apps.c1-bd-01.c1.dc3.internal; iedere dienst krijgt een naam onder het domein van de cel, zoals register, git, geheimen en toegang. Het API- en het ingangsadres kondigt het cluster zelf aan, onafhankelijk van de externe verkeersverdeling.

Toelichting

Netwerkbeheer wijst vóór de opbouw de adressen toe voor het cluster, de ingang en de externe verkeersverdeling, met namen en, voor cluster en ingang, certificaten.

VoorstelOntwerpbesluit#

MetalLB geeft eigen adressen aan het geheimenbeheer, aan SSH van het versiebeheer, aan de teamingang en aan een ingangscontroller die alleen toegang.<cel> bedient; de overige diensten gaan via de gedeelde ingang. MetalLB werkt eerst in laag 2-modus en vanaf groeipadstap 3 met BGP.

VoorstelOntwerpbesluit#

Alleen de teamingang van de beheerwerkplek en de toegangsvoorziening, zonder beheerconsole, zijn doel van de externe verkeersverdeling. De gedeelde ingang, de beheeringang en de andere basisdiensten zijn dat niet.

Netwerkbeleid

VoorstelRegel#

Verkeer tussen de naamruimten van het basisdienstencluster is standaard dicht. Netwerkbeleid laat per dienst alleen de ingang, de eigen database, het geheimenbeheer, DNS en vastgelegde afnemers toe. Uitgaand verkeer gaat alleen naar de vastgelegde bestemmingen.

Toelichting

Aangetoond met netwerktests; het SOC meldt uitgaand verkeer naar een niet-toegestane bestemming.

VoorstelOntwerpbesluit#

Alleen de naamruimte van het geheimenbeheer mag naar de databaseadressen in applicatieclusters, om tijdelijke databaserollen uit te geven. Het bronadres is dat van de knooppunten in VLAN 610; de databasenaamruimte laat dat adres toe.

VoorstelOntwerpbesluit#

De runner van het versiebeheer bereikt alleen het versiebeheer, de containerregistry, de naam- en tijdvoorziening en, alleen lezend en met een eigen token, de datacenterregistratie, voor de zonetoets van de toetspijplijn.

Toelichting

Verkeer van de runner naar een andere bestemming wordt in een negatieve proef geweigerd en gemeld.

VoorstelOntwerpbesluit#

De automatisering stuurt het apparatuurbeheer aan via twee uitvoeringsknooppunten: virtuele machines in VLAN 600, aangestuurd over poort 27199. Zij voeren ook de uitsluiting van knooppunten en de apparaatback-ups uit. Zo is voor het apparatuurbeheer geen bredere zoneregel nodig.

Toelichting

Afgewezen alternatief: alle taken vanuit het routeringsdomein platform. Dat routeringsdomein breder openzetten naar het apparatuurbeheer verzwakt de scheiding van beheer.

Verbindingen

VoorstelWaarde#

De verbindingen van en naar het basisdienstencluster, met poort en zoneregel.

VanNaarPoortZoneregel
Werkers en knooppunten van de celContainerregistry en toegangsvoorziening; geheimenbeheer443; 8200Van vrf-afn-* naar vrf-platform; binnen vrf-platform
Vlootbeheer, automatisering, portaal en bouwclusterVersiebeheer; omgekeerd de webhook naar het bouwcluster443; 22 vanaf het bouwclusterBinnen vrf-platform
PlatformpoolWebinterfaces van de basisdiensten; API van het cluster; SSH van het versiebeheer443; 6443; 22Van vrf-beheer naar vrf-platform
guacd van de beheeringang; teampoolPlatformpool in VLAN 600; API’s en aanmeldroute van applicatieclusters op het clusterbeheer22 en 3389, vanaf een eigen bronadres; 6443 en 443Van vrf-platform naar vrf-beheer; binnen vrf-platform
AutomatiseringUitvoeringsknooppunten27199Van vrf-platform naar vrf-beheer
UitvoeringsknooppuntenSwitches, fabriccontroller, firmwarebeheer, leden van de externe verkeersverdeling en iLO22; 443Binnen vrf-beheer
UitvoeringsknooppuntenHub van de automatisering; bucket voor apparaatback-ups443Van vrf-beheer naar vrf-platform
FirmwarebeheeriLO van alle servers van de cel; directory443; 636 (LDAPS)Binnen vrf-beheer; naar vrf-extern
BasisdienstenDirectory en HR-bron, SIEM, mailrelay, Infoblox, Cohesity, interne en externe PKI, proxyPer bestemmingVan vrf-platform naar vrf-extern
Geheimenbeheer, ook teruggezet in de herstelzoneHardwaresleutelmodule van PKI-beheerPKCS#11 over TLSVan vrf-platform en vrf-herstel naar vrf-extern; vanaf groeipadstap 2, alleen als terugvaloptie voor de ontgrendeling, 8200 naar de andere cel over de koppeling tussen de cellen
Werkers van de herstelomgevingContainerregistry (leesrobot); geheimenbeheer, alleen herstel-<cel>443; 8200Vaste stroom van vrf-herstel naar vrf-platform
GeheimenbeheerDatabaseadressen in applicatieclusters5432Van vrf-platform naar vrf-afn-*
KnooppuntenMonitors, OSD’s en metadatadiensten van het opslagcluster3300, 6789, 6800–7300VLAN 620, laag 2
Diensten op het clusterObjecttoegang443Binnen vrf-platform (VLAN 622)
Exemplaren van het geheimenbeheer; dienstenElkaar; de eigen database8201; 5432Binnen het cluster, met TLS 1.3
Toelichting

De stromen tussen routeringsdomeinen staan ook in de zonematrix van Netwerk, ingang & zones.

VoorstelMaatregel#

De stromen uit de herstelzone naar het basisdienstencluster zijn een aanvaard restrisico, begrensd door de leesrobot van de containerregistry, de naamruimte herstel-<cel> in het geheimenbeheer, een eigen deelreeks van adressen en toegangslijsten.

Verwijzen hiernaar

Onderwerpen 1