Celgrens, verbindingen en certificaten

Beheerrechten, technische identiteiten, geheimen en sleutels gelden per cel. Geen account, technische identiteit of sleutel heeft beheerrechten in beide cellen, behalve de vlootbrede rollen; een beheerder die in beide cellen werkt, heeft per cel een eigen toekenning, en ieder geheim komt uit het geheimenbeheer van de eigen cel.

Iedere vlootbrede voorziening heeft twee beoordelaars naast de auteur, hardwaresleutels en opname van iedere sessie, en compromittering van het vlootbeheer wordt apart beproefd. Op het vlootcluster kunnen ten hoogste vier personen verhoogde rechten krijgen.

Iedere cel heeft een eigen beheerwerkplek, met een eigen toegangsgateway en beheerservers op het basisdienstencluster; de noodwerkplek ligt in de kluis. Bij een koude start of herstel gebruiken beheerders noodtoegang totdat de overige basisdiensten weer draaien; daarna loopt beheer weer via de beheerwerkplek en wordt de gebruikte noodtoegang vervangen.

Per cel liggen twee noodaccounts en per platformcluster en apparaat een noodtoegang in de kluis; ieder gebruik is binnen 5 minuten bij het SOC gemeld.

Ontgrendel- en herstelsleutels liggen buiten de cel; de herstelsleutels liggen vóór een koude start klaar. Het vlootcluster haalt zijn geheimen uit het geheimenbeheer van de cel die het huisvest.

Tussen de cellen versleutelt MACsec de verbinding zelf, met daarboven TLS. Opgeslagen gegevens zijn per cel versleuteld: de opslagschijven met sleutels van het opslagcluster zelf, de knooppunten met hun TPM-chip.

De cellen koppelen alleen de routeringsdomeinen platform, beheer en herstel (vrf-platform, vrf-beheer en vrf-herstel), op laag 3 met type-5-routes over de versleutelde MACsec-verbinding. Verkeer tussen de cellen is standaard geweigerd; alleen de vastgelegde stromen zijn toegestaan.

Toepassingsverkeer naar de andere cel is een gedeclareerde verbinding via het externe routeringsdomein (vrf-extern). Daar geeft de externe verkeersverdeling het adres voor toepassingen (443) door aan de ingang; andere poorten, zoals bij de replicatie van bedrijfskritische diensten, krijgen een eigen virtueel adres naar de dienst. TLS eindigt bij de ingang of bij de dienst.

Tussen de cellen zijn alleen deze stromen toegestaan; de stromen binnen een cel staan in de zonematrix.

Over tien stromen over de zonegrenzen is besloten; de zonematrix noemt de toegestane stromen. De vaste stromen van de herstelzone naar productie zijn een aanvaard restrisico.

De herstelzone (VLAN 690, vrf-herstel) staat in iedere cel klaar, zonder route van of naar productie. Alleen vaste stromen binnen de eigen cel zijn toegestaan, niet over de koppeling: naar de deelreeks voor besturingen in de herstelzone op het clusterbeheer (6443, 443), de containerregistry (443), het geheimenbeheer (8200, alleen de naamruimte herstel-<cel>), naam en tijd, en naar back-upvoorziening en hardwaresleutelmodule. Clusters in de herstelzone krijgen hun volumes via de gastklasse van de werkervirtualisatie, zonder opslagclientnetwerk.

Iedere cel heeft het domein <cel>.dc3.internal. Rekken heten r01, r02 enzovoort per cel; een server krijgt de cel van zijn rek en de afkorting van zijn cluster (vl, bd, cb, vw, os), zoals c1-r01-vl-01, en de koude reserveserver krijgt cb. Clustersets heten c1, c2 en vloot, met de labels cel, functie, profiel en uitrolgolf; de herstelomgeving heet herstel-<cel>. Het vlootcluster valt onder het domein van cel 1, omdat zijn certificaten uit de tussen-CA van cel 1 komen, die tot haar domeinen is beperkt; na herstel in cel 2 krijgt het naam en certificaten van cel 2.

Een bedrijfskritische dienst heeft één dienstnaam onder het vlootdomein (<dienst>.dc3.internal), die bij overname niet verandert en een TTL van ten hoogste 5 minuten heeft. Haar certificaat komt uit de tussen-CA ‘vloot’ van PKI-beheer, met naambeperking tot het vlootdomein zonder de celdomeinen; cert-manager in de applicatieclusters van beide cellen geeft het uit voor ingang of dienst, met een rol per dienst. API-namen blijven celgebonden en ongewijzigd, met een certificaat van cert-manager onder de tussen-CA van de cel.

Interne certificaten komen uit de tussen-CA van de eigen cel, met het TLS-profiel; een certificaat uit de tussen-CA van de ene cel wordt in de andere cel niet gebruikt, en de tussen-CA ‘vloot’ geeft alleen uit voor dienstnamen van bedrijfskritische diensten, met een rol per dienst. Na terugzetten in de herstelzone van de andere cel gebruikt een cluster zijn eigen clusterautoriteit; de kubeconfig van de beheerwerkplek bevat die, en de tussen-CA daar mag de naam niet uitgeven.