Ruta guiada: Aprender resiliencia¶
Guía paso a paso para entender cómo 
SmallCountry se mantiene en pie cuando las cosas fallan —y fallan—, y cómo responder cuando lo hacen.
¿Para quién es esta ruta?¶
Para quien asume el rol de Terminus o simplemente quiere dormir tranquilo sabiendo que si algo se rompe, el sistema aguanta y hay un plan. No necesitas acceso de administrador para los primeros pasos —la teoría de resiliencia se entiende sin tocar un terminal—, pero los pasos avanzados requieren acceso a los servidores y al sistema de backups.
1. Principios de resiliencia¶
Antes de entrar en procedimientos, comprende la filosofía: SmallCountry no asume que nada va a fallar. Asume que todo va a fallar, y se diseña para que cada fallo duela lo menos posible.
Mecanismos de Defensa — Portada de los 10 mecanismos que protegen el sistema.
Presta especial atención a tres mecanismos fundacionales: - Mecanismo 2 — Modo de Emergencia: qué servicios se apagan primero cuando los recursos escasean - Mecanismo 3 — Degradación Independiente: cada servicio se degrada sin arrastrar a los demás - Mecanismo 9 — Protocolo de Mortalidad: todo servicio lleva un testamento
2. Matrices de resiliencia¶
Las matrices sistematizan el análisis de riesgos: qué puede fallar, con qué probabilidad, cuánto daño haría y qué lo mitiga.
Matriz de Resiliencia — Riesgos, probabilidades, impactos y mitigaciones para cada subsistema.
Esta matriz es la respuesta a "¿qué es lo peor que puede pasar y qué hemos hecho al respecto?". Léela completa al menos una vez.
3. Modos de fallo¶
Cada servicio tiene modos de fallo documentados. Saber cómo falla algo es el primer paso para saber cómo arreglarlo.
Matriz de Modos de Fallo — Catálogo de cómo falla cada componente y cuáles son los síntomas.
Un disco ZFS que empieza a dar errores de checksum no es un fallo catastrófico si tienes snapshots y lo detectas a tiempo. La matriz te enseña a reconocer los síntomas tempranos.
4. Runbooks de emergencia¶
Cuando suena una alerta a las tres de la mañana, no quieres pensar. Quieres seguir un procedimiento probado.
Runbooks de Emergencia — Portada de los runbooks con la tabla de gravedad y roles asignados.
Cada runbook sigue la misma estructura: Síntomas → Diagnóstico (checklist) → Resolución (checklist) → Verificación → Prevención. No hay margen para la improvisación.
5. Modo isla¶
El escenario más extremo: se corta internet. Nada externo funciona. ¿Qué pasa dentro de SmallCountry?
ADR-022 — Modo Isla — Decisión de arquitectura que define cómo opera el sistema sin conexión exterior.
En modo isla, los servicios locales siguen funcionando. El DNS interno resuelve. Las aplicaciones acceden por IP local. Lo único que se pierde son las dependencias externas (APIs de clima, actualizaciones de paquetes, notificaciones push que requieran internet). La finca no se para.
6. Backups¶
La última línea de defensa. Si todo lo demás falla, los backups te devuelven a un estado conocido.
Proxmox Backup Server — Snapshots automáticos de LXC con verificación de integridad.
Restic — Backups cifrados con destino externo (Thoth).
La estrategia sigue el ADR-016 (regla 3-2-1): tres copias, dos medios, una fuera del sitio. Verifica que puedes recuperar un backup antes de necesitarlo de verdad.
7. Recuperación¶
Los backups no sirven de nada si no sabes restaurarlos. La recuperación se entrena, no se improvisa.
Runbooks — Portada de runbooks con procedimientos de recuperación para cada escenario.
Practica la restauración de un servicio no crítico (Tier C o D) en un entorno de prueba. Mide cuánto tardas. Ese tiempo es tu RTO real, no el teórico.
8. Verificación¶
Después de un incidente o una restauración, verifica que todo está como debe estar. El sistema tiene mecanismos para comprobar la integridad global.
Estado Global — Dashboard de alto nivel con el semáforo de salud de los 4 nodos, los servicios Tier S/A y los backups.
Sistema de Observabilidad — El pipeline de observabilidad es también la herramienta de verificación post-recuperación.
Comprueba que todos los healthchecks están verdes, que los backups de la última hora se completaron y que las métricas de los servicios recuperados son normales.
¿Ya terminaste? Ver también¶
- Roles de SmallCountry — La resiliencia no la ejerce una sola persona. Conoce a Terminus, Argos, Mnemósine y Égida, los cuatro roles que comparten la responsabilidad.
- Gobernanza — SLOs, puertas de calidad y la regla de los dos carriles de cambio que evitan que una actualización rompa todo.
- Desplegar infraestructura — Si aún no tienes la infraestructura montada, empieza por ahí. La resiliencia se construye sobre cimientos sólidos.