Construction du réseau multi-site - World Wide Welsh

2 - Des lieux, des serveurs, des partenaires

Raoull dépose ses serveurs dans des locaux d’association partenaires, tiers lieux…

Le principe, un accord de service : Raoull installe un serveur pour des services locaux pour la structure. En échange, la structure permet à Raoull d’héberger des serveurs pour son infrastructure et des services ouverts au public (associations, artistes, grand public…)

Le Kit Raoullien se compose alors au minimum de 3 éléments :

• 1 routeur - firewall - cœur de réseau principalement à base de MikroTik hEX sous RouterOS - malheureusement non libre
• 1 serveur - Proxmox PVE en mode “brique raoullienne” chiffré intégralement pour les services internes de la structure qui garde la main et possède les mots de passe de déchiffrement et accès aux services
• 1 serveur - Proxmox PVE en mode “brique raoullienne” chiffré intégralement avec PBS intégré OU 1 serveur - Proxmox PBS en mode “parpaing raoullien” chiffré intégralement (serveur dont seul Raoull dispose des mots de passe de déchiffrement et accès, pour stockage, sauvegardes ou services gérés par Raoull)

3 - Accès aux machines

L’équipe Raoull accède au réseau Raoull du site par VPN, grâce au serveur VPN configuré sur le routeur.
Les accès SSH ne sont pas ouverts à l’extérieur, seul un accès VPN permet d’atteindre les serveurs en SSH.

Le réseau des serveurs est isolé du LAN de la structure.
Seuls les ports nécessaires aux services sont ouverts.

L’équipe Raoull dispose des accès et mots de passe des serveurs, y compris ceux dédiés à la structure : ceci afin d’assurer le support, les mises à jour …
L’accès s’effectue par SSH, restreint aux clefs des admins Raoull.
Le déchiffrement peut s’effectuer à distance grâce à Dropbear.

4 - Résilience et indépendance

Les membres de la structure locale accèdent à leurs services via Internet (en mobilité) ou localement.

Par défaut le réseau de la structure reste branché à sa box - accès internet.
Il reste cependant possible de le connecter - via un port Ethernet dédié - au routeur.
Celui-ci assure ainsi une résolution des services, même en cas de coupure d’accès internet… pour garder la main sur ses données même isolé ;)

Note: Si la structure souhaite quitter l’infrastructure du World Wide Welsh : elle pourra simplement récupérer le serveur.
Modulo un changement de configuration réseau et l’arrêt des sauvegardes, le Proxmox Virtual Environment pourra être installé dans une autre infrastructure

5 - Accès aux services publics

Les serveurs gérés par Raoull peuvent héberger des services accessibles au public.

6 - Sauvegarde

Les sauvegardes de tous les containers et VMs sont réalisées régulièrement sur le Proxmox Backup Server de Raoull (celui-ci peut être un serveur physique ou une VM tournant sur le Proxmox Virtual Environment de Raoull).

7 - Secours

Lorsque le serveur de Raoull est un Proxmox Virtual Environment, il peut assurer le secours localement en cas d’incident sur le serveur de la structure : crash, indisponibilité (mise à jour…) : Les sauvegardes des VMs et containers sont remontées sur le serveur Proxmox Virtual Environment de Raoull qui peut alors faire tourner les services nécessaires. Ce scénario n’est pas possible sur les sites ou le serveur Raoull est un unique Proxmox Backup Serveur physique. La réparation du PVE de la structure ou la bascule complète des services sur un autre site sera à privilégier.

En cas de crash du serveur Proxmox Virtual Environment de Raoull, les services portés par ce serveur sont démarrés sur un nouveau site (voir illustration plus loin).

En cas d’indisponibilité complète du site, tous les services portés peuvent être redémarrés sur un autre site (voir illustration plus loin).

8 - Infrastructure multi-site

Les Proxmox Backup Servers (PBS) sont répliqués sur plusieurs sites grâce à la solution de réplication de PBS.

Les sauvegardes sont chiffrées. Les données ne sortent pas de leur site sans être chiffrées. Raoull possède les clefs/mots de passe de déchiffrement.

Cette réplication s’effectue à travers un VPN wireguard géré par les routeurs Mikrotik.

9 - Résilience et organisation réseau

En cas de crash d’un site, il doit être possible de redémarrer les services de la structure temporairement depuis un autre site, sur les serveurs de Raoull, tout en gardant une segmentation entre les structures. Pour cela :

• Un VLAN est créé pour les serveurs dédiés à chaque structure.
• Chaque site dispose de tous les VLANs, y compris les vlans des autres structures, vides mais prêts à l’emploi.
• Des VLANs communs sont composés de serveurs quasi identiques sur chaque site (reverse proxy…) faisant l’objet de mécanisme de réplication sur mesure (gestion des certificats…).
• Les Proxmox sont gérés à travers de VLAN de management isolés des VLANs de VM et containers.

10 - Résilience - perte d'un site

Si un site devient inaccessible (perte de réseau, incident serveur/routeur…), les VMs et containers du site impacté peuvent être redémarrés sur un autre site.
Les services ouverts (web) sont accessibles aux membres de la structure impactés via internet.

Une bascule des enregistrements DNS est alors nécessaire pour diriger le trafic vers le site ayant pris le relai.