1 open besluit1414 voorstellen

Onderwerp

Verkeer tussen de cellen en de overgang

De fabrics van de twee cellen koppelen alleen gerouteerd; afnemersverkeer naar de andere cel loopt via de ingang van die cel, en een bedrijfskritische dienst schakelt nooit automatisch om. Met de overgang van het oude netwerk in AM2 en de routekaart van netwerk en ingang.

Nog niet bevestigd door een mens. Eigenaar: vdo89. Bron in de atlas

Domein
Volgt uit
Functies
Producten
Verwant

Wat het is

De twee cellen hebben ieder een eigen fabric. Die koppelen alleen gerouteerd met elkaar, en alleen voor platform, beheer en herstel. Afnemersverkeer naar de andere cel loopt via de ingang van die cel, en een bedrijfskritische dienst schakelt onder één vaste dienstnaam gecontroleerd om.

Dit onderwerp beschrijft ook de overgang van het oude netwerk in AM2 naar de nieuwe fabric, en de routekaart waarlangs netwerk en ingang groeien.

Waarom zo

Zonder laag-2-netwerk tussen de datacenters blijft een storing of foutieve wijziging in één cel beperkt tot die cel. Door alleen de domeinen te koppelen die het vlootbeheer, de replicatie en de onveranderbare kopie nodig hebben, blijft de koppeling klein en controleerbaar.

Een overname begint altijd met uitsluiting van de oude kant, zodat er nooit twee schrijvende kanten zijn. De overgang van AM2 verloopt parallel, zodat het oude netwerk terugvalpad blijft tot de verhuisde toepassingen zijn geaccepteerd.

Uitspraken

2 vastgesteld15 voorstellen

Alle 15 voorstellen vaststellen

Koppeling tussen de cellen

VastgesteldRegel#

Tussen de datacenters lopen alleen gerouteerde verbindingen, geen laag-2-netwerk: geen segment loopt over beide cellen. Zo werkt en herstelt iedere cel netwerktechnisch zelfstandig, en blijft een netwerkstoring binnen één cel.

Toelichting

Afgewezen: één fabric of gestrekte segmenten over beide datacenters. Dat is eenvoudiger voor migratie met behoud van adres, maar een storing of foutieve wijziging raakt dan beide cellen; zo’n migratie loopt daarom via een tijdelijk netwerkverband binnen één cel. Gedeelde automatisering en beheerrechten kunnen wel beide cellen raken.

VoorstelOntwerpbesluit#

De fabrics van de cellen koppelen alleen op laag 3: de border leaves wisselen EVPN type 5-routes uit over de met MACsec versleutelde datacenterverbinding tussen AM4 en AM2. Zij gebruiken daarvoor Cisco VXLAN EVPN Multi-Site met de functies die de gekozen release documenteert, beproefd in de leeromgeving en met de testset. Andere leverancierspecifieke uitbreidingen worden alleen als goedgekeurde uitzondering ingezet.

Toelichting

De open standaard voor de laag 2-interconnectie tussen EVPN-domeinen beschrijft deze type 5-routering niet; Multi-Site is daarom een bewuste, beproefde keuze.

VoorstelOntwerpbesluit#

Alleen de routeringsdomeinen voor platform, beheer en herstel worden tussen de cellen gekoppeld, voor het vlootbeheer, de replicatie van RWS-brede basisdiensten en de onveranderbare kopie; de ingangs- en afnemersdomeinen niet. Omdat de route targets per cel uit het eigen AS worden afgeleid, liggen import en export per routeringsdomein expliciet vast in het detailontwerp; MACsec filtert geen routes.

VoorstelMaatregel#

De koppeling tussen de cellen is versleuteld met MACsec; ook de koppelingen naar het RWS-netwerk kunnen MACsec krijgen. De border leaves ondersteunen MACsec alleen op hun laatste 8 poorten; daar komen de koppelingen tussen de cellen.

VoorstelWaarde#

De vaste stromen tussen de cellen lopen over de koppeling tussen de cellen, met de reeksen per richting in het detailontwerp.

VanNaarToegestaan
vrf-platform (cel 1)vrf-platform (cel 2)Niet via de firewall: het vlootbeheer naar de API’s van de platformclusters en de API-adressen op het clusterbeheer van cel 2 (6443; uitrol, beleid en import); de kopieertaak van de back-up van de hub van het vlootbeheer naar de objectgateway, realm platform, van cel 2 (443, VLAN 622, alleen toevoegen); containerregistry en automatisering naar de containerregistry van cel 2 (443; replicatie van vrijgegeven inhoud); het geheimenbeheer naar de transit-engine van het geheimenbeheer van de andere cel (8200), alleen als terugvaloptie voor de ontgrendeling. Het vlootbeheer bereikt applicatieclusters in cel 2 (6443, 10250, 9100) langs deze weg via de firewall van cel 2; daarvoor kent het platformdomein van cel 1 de reeksen van de afnemersdomeinen van cel 2 via de koppeling, niet via de standaardroute.
vrf-platform (cel 2)vrf-platform (cel 1)Niet via de firewall: klusterlets op de platformclusters en het clusterbeheer van cel 2 naar de API van het vlootbeheer (6443; registratie, beleid en werkopdrachten); de bewaking van het basisdienstencluster van cel 2 en, vanaf groeipadstap 2, de eigen bewakingsvoorziening van cel 2 naar de API en de ingangen van het vlootbeheer (6443, 443; melding ‘vlootcluster onbereikbaar’); agenten op de platformclusters van cel 2 en, na de firewall van cel 2, op werkers van applicatieclusters naar de agentingang van het vlootbeheer (443); de automatisering van cel 2 naar het versiebeheer in cel 1 (443; draaiboeken); containerregistry en automatisering naar de containerregistry van cel 1 (443; replicatie); het geheimenbeheer naar de transit-engine van de andere cel (8200), alleen als terugvaloptie voor de ontgrendeling.
vrf-beheer (cel 1 of 2)vrf-herstel (andere cel)De beheerwerkplek naar de herstelomgeving in de andere cel (443, 6443), met eigen aanmelding, voor herstel en herstelproef; heen- en terugweg lopen door dezelfde firewall.
VoorstelEis#

Valt de verbinding tussen de cellen weg, dan werkt iedere cel zelfstandig door; na herstel van de verbinding pakt het vlootbeheer de andere cel automatisch weer op, zonder stromen buiten de vastgelegde regels. De testset beproeft dat, ook voor een stroom via het routeringsdomein voor de overgang.

Afnemers en bedrijfskritische diensten

VoorstelRegel#

Verkeer van een toepassing naar een dienst in de andere cel loopt als gedeclareerde verbinding, na zonecontrole, via het externe domein naar een virtueel adres van de ontvangende cel en onder haar zoneregels; de ingangs- en afnemersdomeinen van de cellen worden niet gekoppeld. Op 443 gaat het naar de ingang; een andere poort, zoals 5432 voor de replicatie van een bedrijfskritische database, krijgt een eigen virtueel adres naar het dienstadres.

Toelichting

Eigenaar: netwerkbeheer; bij een bedrijfskritische dienst platformbeheer met de diensteigenaar. Controle: de testset van de fabric en de overnameproef.

VoorstelOntwerpbesluit#

Een bedrijfskritische dienst heeft in iedere cel een eigen publicatie onder één dienstnaam in het vlootdomein, <dienst>.dc3.internal, die bij overname niet verandert. Het certificaat komt in beide cellen van cert-manager in het applicatiecluster, met een rol per dienst, uit de tussen-CA ‘vloot’, die is beperkt tot het vlootdomein zonder de celdomeinen en waarvan de sleutel in beide cellen staat. API-namen blijven celgebonden.

VoorstelWerking#

Bij overname zet het draaiboek vanuit de ontvangende cel de oude virtuele servers uit, voor zover die bereikbaar zijn, en laat het pas na uitsluiting de dienstnaam naar de ontvangende cel wijzen. De TTL van de dienstnaam is ten hoogste 5 minuten, zodat de omschakeltijd begrensd is. De terugkeer is een aparte stap.

Toelichting

Beproefd in de overnameproef van groeipadstap 2, bij de toets herstel na een aanval.

VoorstelUitgangspunt#

Beide cellen kunnen voor dezelfde dienstnaam van een bedrijfskritische dienst een certificaat uitgeven. Dat is een aanvaard restrisico, begrensd door de naambeperking tot het vlootdomein, de rol per dienst en de dagelijkse vergelijking van de uitgegeven certificaten.

Overgang van het oude netwerk

VoorstelWerking#

AM2 gaat van Cisco ACI over naar de nieuwe fabric als parallelle migratie: de nieuwe fabric komt naast het oude netwerk, toepassingen verhuizen per rek of per toepassing, en het oude netwerk verdwijnt pas als alle verhuisde toepassingen zijn geaccepteerd.

StapWat er gebeurt
Parallel bouwenDe nieuwe fabric van AM2 komt met eigen spines, leaves en border leaves naast het oude netwerk, dat ongewijzigd blijft. De overlapcapaciteit is begroot en ingepland.
KoppelvlakDe nieuwe border leaves koppelen gerouteerd met het oude netwerk (L3Out van ACI) via eBGP in vrf-overgang, zonder laag 2-koppeling; per verhuisde toepassing is er een vastgelegde stroom met eigenaar en einddatum.
VerhuizenWerklasten gaan per rek of per toepassing over, met nieuwe adressen uit het segmentplan. Het opslagcluster van beheercel 2 komt naast het overgangsopslagcluster. Het AI-cluster gaat als fysiek cluster over op de nieuwe leaves en koppelt daarna aan het nieuwe opslagcluster; dat koppelen verplaatst zijn gegevens niet.
AfbouwenZodra alle verhuisde toepassingen zijn geaccepteerd en geen vastgelegde stroom meer over vrf-overgang loopt, vervallen de koppeling en het oude netwerk.
VoorstelWerking#

Nexus 9000-switches kunnen na verwijdering uit de ACI-fabric naar de NX-OS-modus worden omgezet en als leaf worden hergebruikt, als de leverancier dat voor het model ondersteunt. Hergebruik van bronapparatuur komt pas na acceptatie van de verhuisde toepassingen.

Routekaart en fasering

VoorstelWerking#

Het nieuwe datacenternetwerk en de integratie met de clusters komen in fasen, van ontwerp en proef tot de aansluiting van locaties.

FaseOpleveringenGebruikssituatiesVoorwaarde en bewijs
Ontwerp en proef, vóór de bouw van cel 1Detailontwerp van cel 1; fabric in de leeromgeving (twee leaves en één spine, of virtueel); pijplijn en modelcontrole; testset; ingerichte fabriccontrollerWerkwijze van netwerkbeheer en ontwikkelteam beproefdDe testset slaagt in de leeromgeving voor zover die haar kan uitvoeren; spine-uitval, doorvoer, verkeersbeleid en MACsec volgen op de fysieke fabric; ontwerpbesluiten vastgelegd
Fabric van cel 1, voorwaarde voor de opbouw van cel 1Fabric van AM4 met alle vaste segmenten en routeringsdomeinen, firewalls op de border leaves, koppeling met het RWS-netwerk, bewaking en beheertoegangServeraansluiting met scheiding; opslag en migratie als laag 2; apparatuurbeheer; ingang en zoneregelsDe testset volledig geslaagd, met de netwerktests van de servers; de zonematrix aantoonbaar
Clusterintegratie, groeipadstap 1Segment per applicatiecluster vanuit het leverpad; localnet-netwerken op de werkervirtualisatie; EVPN-koppelvlak (VLAN 660) aangelegd en beproefd in de leeromgevingClusters als dienst met eigen segment; virtuele machines; bestaand netwerkverband via een VLAN op de werkervirtualisatieHet segment komt en gaat met het cluster; proef met een tunneleindpunt op de bundel
Route-aankondiging en EVPN vanuit clusters, groeipadstap 3Route-aankondiging via BGP vanuit de fysieke clusters (MetalLB in BGP-modus, RouteAdvertisements); EVPN-netwerken vanuit werkervirtualisatie en basisdienstencluster voor bestaande netwerkverbandenMigratie van bestaande toepassingen met behoud van adres; dienstadressen onafhankelijk van één rekProef in de leeromgeving; de toetsen van gecontroleerde koppeling, toegang op applicatie-identiteit en zonecontrole; de hersteltijd na uitval van een leaf gemeten en niet langer dan bij de fabric van cel 1
Cel 2 en koppeling, groeipadstap 2Fabric van AM2; koppeling tussen de cellen met type 5-routes; overgang van ACI en afbouw ervan; een eigen routeringsdomein per afnemer waar een dienstbeschrijving dat vereistTweede beheercel uit dezelfde code; herstel vanuit de andere cel; het bestaande AI-cluster op het nieuwe netwerkTestset in AM2; uitval van de koppeling tussen de cellen beproefd; alle verhuisde toepassingen geaccepteerd en geen stroom meer via vrf-overgang
Locaties en uitbreiding, groeipadstap 4Aansluiting van locaties via het RWS-WAN op het externe domein, met eigen zoneregels; een verliesvrije klasse voor RDMA; vier spines bij groeiVoorzieningen op locatie; AI met directe geheugentoegang over het netwerkAantoonbare behoefte en een ontwerpbesluit per uitbreiding
VoorstelUitgangspunt#

De netwerkfasen volgen het groeipad, maar niet in nummervolgorde: de fabric van cel 2 met de koppeling is nodig vóór de tweede beheercel in groeipadstap 2, route-aankondiging en EVPN vanuit clusters pas bij de migratie van bestaande toepassingen in groeipadstap 3. Netwerkbeheer kan beide naast elkaar uitvoeren; de laatste hangt alleen af van de proef in de leeromgeving. De fabric is een randvoorwaarde voor iedere groeipadstap.

VoorstelWerking#

Ingang, zonering en koppelingen komen in fasen, afgestemd op het groeipad en de routekaart van het netwerk.

FaseInhoudGroeipadstapVoorwaarde
LeeromgevingPaar, vault-koppeling van cert-manager, zonecontrole en draaiboeken; doorvoerproef zonder DPDK1, vóór het gemeenschappelijke paarFabric in de leeromgeving
Gemeenschappelijk paarPaar in cel 1; sjabloon voor een eigen paar1Opstelling en licentie van BLX bevestigd, anders VPX; fabric van cel 1
Ingang en zoneringPublicatie, certificaten, zonecontrole, regelset en EgressFirewall1Gemeenschappelijk paar gereed; de vaste stromen aangevuld met de platformeindpunten
Eerste koppelingLeeskoppeling met een testexemplaar; vergelijking van stromen1Ingang en zonering, applicatieclusters en beheerde database gereed; instemming van de eigenaar
Cel 2 en reguliere productieIngang in cel 2 uit dezelfde code; verkeer tussen de cellen; dienstnamen van bedrijfskritische diensten met de tussen-CA ‘vloot’; stroomhistorie; publicatie buiten het RWS-netwerk2Fabric van cel 2; vrijgave voor reguliere productie
IPv6 en EVPNIPv6 aan de rand; route-aankondiging en EVPN vanuit fysieke clusters; migratie met behoud van adres3Route-aankondiging en EVPN vanuit clusters; de toetsen van koppeling, applicatie-identiteit en zonecontrole
API-beheerAPI-beheer en taalmodellen aan de applicatie-ingang; aansluiting van locaties4Ontwerpbesluit per uitbreiding; locaties en uitbreiding van de fabric

Verwijzen hiernaar

Onderwerpen 4