1 open besluit1414 voorstellen

Onderwerp

Signalering en meldingen

Ieder cluster bewaakt zichzelf en meldt rechtstreeks aan de verantwoordelijke; het vlootbeheer meldt alleen wat van buitenaf moet worden vastgesteld. Drempels, normtijden en reactietijden per dienstprofiel bepalen wanneer en bij wie een melding aankomt.

Nog niet bevestigd door een mens. Eigenaar: vdo89. Bron in de atlas

Domein
Volgt uit
Functies
Producten
Verwant

Wat het is

Iedere melding over een cluster ontstaat in dat cluster zelf. De ingebouwde bewaking meet beschikbaarheid, capaciteit en certificaten en stuurt een melding langs één route naar de eigenaar en zijn vervanger. Het vlootbeheer vult dat aan met wat alleen van buitenaf te zien is, zoals een onbereikbaar cluster, en het basisdienstencluster bewaakt het vlootcluster zelf. Teams bewaken hun toepassingen in hun eigen cluster.

Waarom zo

Juist bij een storing in het centrale beheer moeten meldingen blijven werken. Omdat iedere melding lokaal ontstaat en rechtstreeks wordt gerouteerd, valt de signalering niet weg met het vlootbeheer of met cel 1. De labels eigenaar en profiel maken iedere melding herleidbaar tot een dienst en bepalen hoe snel iemand moet reageren.

De drempels, normtijden en reactietijden zijn een voorstel: ze maken meetbaar of de signalering werkt, en worden in de proeven van de bewaking getoetst.

Uitspraken

2 vastgesteld14 voorstellen

Alle 14 voorstellen vaststellen

Bewaking per cluster

VastgesteldUitgangspunt#

Ieder OpenShift-cluster bewaakt zichzelf met zijn ingebouwde bewaking, Prometheus en Alertmanager, en meldt rechtstreeks aan de afgesproken meldingsroutes. Een melding hangt niet af van het vlootcluster: valt het vlootbeheer uit, dan ontbreekt alleen het overzicht, en werken bewaking en meldingen per cluster door.

Toelichting

Afgewezen alternatief: alle meldingen via het vlootcluster. Dan vallen de meldingen weg met het vlootbeheer, en in de eerste levering ook met cel 1. Het vlootbeheer blijft de bron voor wat alleen van buitenaf waarneembaar is.

VoorstelRegel#

Een cluster meldt zijn eigen uitval niet. Of een heel cluster onbereikbaar is, stelt het vlootbeheer van buitenaf vast; uitval van het vlootcluster zelf meldt de bewaking van het basisdienstencluster van iedere cel.

Toelichting

Zo vallen meldingen niet weg met het vlootcluster. Aangetoond met een proef waarin het vlootcluster onbereikbaar is.

VoorstelOntwerpbesluit#

De bewaking van het basisdienstencluster van iedere cel bevraagt de API van het vlootcluster (TCP 6443) met een identiteit die alleen metingen leest, en controleert de beheer- en agentingang (TCP 443); vanaf groeipadstap 2 doet de eigen bewakingsvoorziening dat ook. Staat de meting niet op ‘up’ of faalt de controle langer dan 5 minuten, dan krijgt platformbeheer een melding en gaat het na of de clusters doorwerken.

Toelichting

Voorwaarde bij de acceptatie van de bewaking: de bewaking voor gebruikersnaamruimten haalt dit externe verzameldoel op. Terugvaloptie: een controlepod op het basisdienstencluster bevraagt API en ingangen en levert de uitkomst als meting. De werking wordt beproefd in de toets uitval van het vlootbeheer.

VoorstelUitgangspunt#

Het opslagcluster en de fabric houden hun eigen bewaking, die opslagbeheer en netwerkbeheer beheren. Die bewaking levert haar meldingen aan dezelfde mailrelay, met eigen ontvangers per beheerdomein, en haar syslog gaat naar de SIEM van het SOC.

Toelichting

Hoe het opslagcluster en de fabric zichzelf bewaken, hoort bij Opslag & foutdomeinen en Netwerk, ingang & zones; hier staat alleen hoe hun meldingen en logboeken aansluiten.

Meldingsroutes

VoorstelOntwerpbesluit#

Er is één meldingsroute. De Alertmanager van ieder cluster routeert op de labels eigenaar en profiel naar de eigenaar en de vervanger uit de dienstbeschrijving, per e-mail via de mailrelay. Beveiligingssignalen gaan via de doorsturing en de beveiligingsbewaking naar het SOC, niet per e-mail.

Toelichting

Een tweede meldingsroute is afgewogen en niet ingericht. Het restrisico bij uitval van de mailrelay is aanvaard, begrensd door haar eigen bewaking als RWS-brede voorziening, de telling van mislukte afleveringen en het draaiboek voor een uitgevallen meldingsroute.

VoorstelRegel#

De mailrelay ontvangt meldingen alleen over TLS en alleen van vastgelegde afzenders; een onbekende afzender wordt geweigerd.

Toelichting

Zo gaat uitgaand verkeer alleen naar vastgelegde bestemmingen. Aangetoond met een negatieve proef.

VoorstelWerking#

Een melding wordt verrijkt uit haar labels en de inventaris, met de wijzigingen van de laatste 24 uur, en gaat naar de eigenaar en de vervanger. Na de reactietijd van het profiel escaleert zij naar de vervanger en daarna naar platformbeheer; de afhandeling loopt via de werkvoorraad.

Drempels en normtijden

VoorstelWaarde#

Deze signalen geven een melding, ieder met een eigen bron, drempel en ontvanger.

SignaalBronDrempelNaar en actie
Cluster onbereikbaarStatus ‘Available’ in het vlootbeheerLanger dan 5 minutenPlatformbeheer, direct
Basisdienst onbereikbaarBasisdienstencluster, per dienstLanger dan 5 minutenPlatformbeheer, direct
Vlootcluster onbereikbaarBasisdienstencluster van iedere cel, op API en ingangen van het vlootclusterLanger dan 5 minutenPlatformbeheer; nagaan of de clusters doorwerken
Metingen van een cluster blijven uitVlootbeheer15 minutenPlatformbeheer
Certificaat verlooptMetingen van cert-manager, het certificaatbeleid in het vlootbeheer en de TLS-scan voor overige eindpunten30 en 7 dagen vóór verloopDiensteigenaar
OpslagbezettingHet opslagcluster zelf; per cel en per applicatiecluster het basisdienstencluster50, 65 en 85 procent; per cluster zijn quotumPlatformbeheer en opslagbeheer, met de acties bij de vulgrenzen; per cluster zijn eigenaar
Processor of geheugen van een knooppuntClusterbewaking15 minuten boven 85 procentPlatformbeheer
Bundel van een serverClusterbewaking per knooppunt; de fabric60 procent per poort en richtingPlatformbeheer en netwerkbeheer
TijdsafwijkingClusterbewaking per knooppunt; Ceph meldt zelfMeer dan 1 seconde, of verschil tussen de bronnenPlatformbeheer; netwerkbeheer bij fouten in de bronnen
Replicatie tussen de cellen misluktBasisdienstenclusters, vanaf groeipadstap 2Iedere mislukkingPlatformbeheer
Aflevering van meldingen misluktMetingen van Alertmanager in de vaste lijstLanger dan 15 minutenPlatformbeheer, via het vlootoverzicht
Back-up of herstelproef misluktBack-upmetingen op het clusterVolgens de drempels voor back-up en herstelPlatformbeheer
BeveiligingssignaalDetectieregels in de SIEM en in de beveiligingsbewakingVolgens de detectieregelsSOC
Toelichting

De drempels voor back-up en herstel horen bij Back-up & schoon herstel, de detectieregels bij Detectie van beveiligingssignalen.

VoorstelRegel#

Een storing geeft binnen 5 minuten na het overschrijden van de drempel een melding bij het juiste team, met verrijking, ook als het vlootcluster onbereikbaar is.

Toelichting

Een late melding telt niet. De norm is gelijk aan die voor de doorsturing van logboeken en wordt per soort melding gemeten in een proef met een gesimuleerde storing. Normtijden en drempels wijzigen via een wijzigingsvoorstel.

VoorstelOntwerpbesluit#

Vulgraad en gezondheid van het opslagcluster lezen alleen de eigen bewaking van het opslagcluster en, per cel, het basisdienstencluster, via Data Foundation uit de manager-exporter. Het basisdienstencluster leidt met de verbruiksmeting de bezetting per applicatiecluster af en meldt die aan de eigenaar van dat cluster.

Toelichting

Zo ontstaan per storing geen tientallen gelijke meldingen en loopt er geen stroom van de afnemerszones naar de exporter. Teams zien het gebruik per volume in hun eigen clusterbewaking. De vulgrenzen zelf horen bij Opslag & foutdomeinen.

VoorstelWaarde#

De reactietijd waarna een melding escaleert naar de vervanger en daarna naar platformbeheer, volgt het label profiel van de dienst.

ProfielReactietijdWanneerHerstel begint
Ontwikkelen en beproeven8 werkurenTijdens kantoortijd—
Reguliere productie1 uurTijdens kantoortijdBinnen 4 uur
Bedrijfskritische productie30 minuten24 uur per dag, 7 dagen per weekBinnen 1 uur
Toelichting

De profielen zijn ontwikkelen en beproeven, reguliere productie en bedrijfskritische productie.

VoorstelRegel#

De bewaking rapporteert per cluster maandelijks de beschikbaarheid van de API en de applicatie-ingang, zonder procentnorm. De grens voor een toepassing staat in haar bedrijfsimpactanalyse.

Metingen van teams

VoorstelOntwerpbesluit#

Op applicatieclusters staat de bewaking voor gebruikersnaamruimten aan. Teams werken in de console van hun eigen cluster en maken daar meldingsregels en dashboards voor hun eigen naamruimten; hun meldingen volgen het label eigenaar. Teams hebben geen toegang tot het vlootoverzicht en geen eigen ontvangers.

VoorstelWaarde#

Een verzameldoel levert ten hoogste 10.000 meetreeksen (enforcedSampleLimit); een doel boven die grens wordt niet opgehaald en gemeld.

Toelichting

Zo overbelast één toepassing de bewaking van haar cluster niet.

VoorstelRegel#

Teams zien alleen de metingen, meldingen en logboeken van hun eigen naamruimten; platformbeheer ziet alles. Doorsturing, audit-invoer, ontvangers en de vaste lijst van het vlootoverzicht kan een team niet wijzigen: een poging wordt geweigerd en gemeld.

Toelichting

Scheiding tussen afnemers. Aangetoond met een negatieve proef en in de toets beheertoegang en noodtoegang.

Verwijzen hiernaar

Onderwerpen 3