Iedere cel heeft één eigen Ceph-cluster op eigen servers, dat de clusters van de cel via Data Foundation in externe modus gebruiken. Opslagbeheer beheert het, los van de levenscyclus van de clusters.
Bevestigd door vdo89 op 28 september 2026. Eigenaar: vdo89. Bron in de atlas
Het opslagcluster is de gedeelde opslag van een cel: blok-, bestands- en objectopslag uit één Ceph-cluster op eigen
servers, verdeeld over de vier rekken van de cel. De OpenShift-clusters van de cel koppelen eraan via Data Foundation
in externe modus. Opslagbeheer van RWS bouwt en beheert het; platformbeheer en het ontwikkelteam leveren de koppeling,
de opslagklassen en de quota aan de platformkant.
Waarom zo
Eén opslagvoorziening per cel is los van de levenscyclus van de clusters te onderhouden en te herstellen, en deelt haar
capaciteit over alle clusters, ook voor de live-migratie van virtuele machines. Door per cel een eigen cluster te
houden, zonder gestrekte opstelling, blijft iedere cel zelfstandig werken en herstellen. De keerzijde is dat alle
clusters van de cel van dit opslagcluster afhangen; daarom zijn de foutdomeinen, de scheiding per afnemer en de
capaciteitsgrenzen streng vastgelegd.
Iedere beheercel krijgt één toegewijd extern opslagcluster met Red Hat Ceph Storage op eigen servers, verdeeld over de vier rekken van de cel en ontworpen voor circa tweehonderd clusters. De clusters van de cel gebruiken het via OpenShift Data Foundation in externe modus.
Toelichting
Eenvoudiger alternatieven: interne opslag op ieder cluster vraagt drie opslagknooppunten en eigen capaciteit per cluster, zonder gedeelde schijven tussen clusters; één opslagcluster voor beide cellen maakt een cel niet meer zelfstandig herstelbaar. Keerzijde van de keuze: alle clusters van de cel hangen van dit opslagcluster af.
Er is geen gestrekt cluster over twee datacenters: iedere cel werkt en herstelt zelfstandig, en latentie en storingen van de verbinding tussen de locaties raken de opslag niet. Een gestrekte opstelling vraagt een afzonderlijk architectuurbesluit. Overname van een P3-dienst loopt via de dienst zelf, met eigen gegevensreplicatie, niet via de opslag.
Het opslagcluster levert blokopslag voor virtuele schijven en databases, bestandsopslag voor gedeelde bestanden, en objectopslag voor de containerregistry, back-ups en logboeken en als dienst voor afnemers.
Blokopslag is de standaard voor databases en toepassingen met eigen opslag. Bestandsopslag is alleen voor gedeelde toegang (RWX) en nooit voor databases.
Multicloud Object Gateway (NooBaa) wordt niet ingezet: de platformdiensten spreken de objectgateway rechtstreeks aan en afnemers krijgen objectopslag via de automatisering. Die inrichting wordt beproefd, ook na iedere upgrade.
De stapel is RHEL 10, Ceph Storage 9.1 en Data Foundation 4.22 op OpenShift 4.22. Red Hat bevestigt de ondersteuning van deze combinatie bij de start en bij de acceptatie van de bouw van het opslagcluster; een geslaagde proef in de leeromgeving vervangt die bevestiging niet. Zonder die bevestiging geldt de terugvaloptie: RHEL 9 met Ceph Storage 8.
Opslagbeheer van RWS bouwt en beheert het opslagcluster; platformbeheer beheert de koppeling via Data Foundation en het gebruik door afnemers. De upgrades van opslagcluster, Data Foundation en OpenShift worden samen gepland, en platformbeheer meldt een voorgenomen OpenShift-upgrade vooraf aan opslagbeheer.
Het opslagcluster wordt beheerd met cephadm op eigen servers, los van de levenscyclus van een OpenShift-cluster. Niet met de Rook-operator op een platformcluster: dan hangt de opslag van alle clusters aan dat cluster.
De beheerinterface loopt via de centrale aanmelding, alleen-lezen voor platformbeheer. Opdrachtregeltoegang kan alleen vanaf de beheerwerkplek en de beheerserver van het opslagcluster, als opgenomen bevoorrechte sessie; bij uitval van de centrale aanmelding via de noodroute.
Het opslagcluster heeft een gescheiden publiek netwerk en clusternetwerk, en een eigen objectnetwerk: VLAN 620, 621 en 622. Alleen VLAN 622, 610 en 600 zijn gerouteerd, VLAN 620 en 621 nooit. Blok- en bestandsopslag blijven op het niet-gerouteerde opslagnetwerk; er is geen route tussen applicatie- en opslagnetwerken.
VLAN 620 en 621 hebben MTU 9000, van begin tot eind gecontroleerd. Een pad dat die MTU niet haalt, is een bevinding en wordt niet ‘tijdelijk’ op 1500 gezet naast paden op 9000.