Övervakning och larm

Med features.monitoring: true (standard) installeras:

Del	Gör
Prometheus	Samlar mätvärden från servern, containrarna, Traefik, databaserna och tjänsternas hälsokontroller
Grafana	Visar mätvärden och loggar i färdiga paneler
Loki	Samlar containrarnas loggar
Alertmanager	Skickar larm med e-post
Exporters och hälsokontroller	node-exporter, cAdvisor, Redis, PostgreSQL, Kafka (och PgBouncer om den används), samt kontroller av varje tjänsts /health och av TURN-servern

Alertmanager, exporters och larmregler kan stängas av med monitoring.alerting: false.

Grafana

Öppna https://admin.example.se/grafana. Med monitoring.grafana_public: true finns Grafana också på https://grafana.example.se (kräver en DNS-post).

Användarnamnet är admin. Lösenordet:

sudo grep grafana_password /opt/eurion/deploy/generated/group_vars/secrets.yml

Färdiga paneler: system, containrar, Traefik, tjänster, Redis, PostgreSQL, Kafka, TURN, gateway, e-post, MinIO, PgBouncer, video och loggar. Startsidan är gateway-panelen.

Loggar i Grafana

Explore → Loki och frågan {container_name=~"eurion-.*"} visar alla Eurion-containrars loggar på ett ställe.

Larm via e-post

Alertmanager skickar larm till monitoring.alert_email, eller till organization.admin_email om den inte är satt. Den använder samma SMTP-server som resten av Eurion (smtp i konfigurationen).

Utan SMTP inga larm

Är smtp.host tomt skickas inga larm alls, även om Alertmanager körs. Se Utgående e-post.

Ämnesraden ser ut så här:

[FIRING] Eurion (example.se): DiskSpaceLow
[RESOLVED] Eurion (example.se): DiskSpaceLow

Ett aktivt larm skickas igen var fjärde timme, kritiska larm varje timme. Du får också ett meddelande när larmet upphör.

Larmregler

Larm	Nivå	Utlöses när
HighCPUUsage / CriticalCPUUsage	varning / kritisk	Serverns CPU över 85 % i 5 min / över 95 % i 2 min
LowMemory	kritisk	Mindre än 10 % ledigt minne i 5 min
DiskSpaceLow / DiskSpaceCritical	varning / kritisk	Rotfilsystemet mer än 85 % / 95 % fullt
ServiceDown	kritisk	En tjänsts hälsokontroll misslyckas i 1 min
ServiceSlowResponse	varning	Hälsokontrollen tar mer än 2 s i 5 min
CoturnDown	kritisk	TURN-servern svarar inte i 2 min
RedisDown, PostgresDown, KafkaBrokerDown	kritisk	Redis, PostgreSQL eller Kafka nere
RedisHighMemory	varning	Redis använder mer än 85 % av sin minnesgräns
PostgresHighConnections	varning	Fler än 80 anslutningar till PostgreSQL
KafkaConsumerLag	varning	Mer än 10 000 obearbetade händelser i Kafka
TraefikHighErrorRate	kritisk	Mer än 5 % av svaren är serverfel
TraefikServiceDown	kritisk	En tjänst ger fel på mer än 25 % av anropen
TraefikTLSCertExpiringSoon	varning	Ett certifikat går ut inom 14 dagar
ContainerRestartLoop	kritisk	En container startat om mer än 3 gånger på 15 min
ContainerOOM	kritisk	En container fick slut på minne
ContainerHighCPU	varning	En container använder mer än 90 % CPU
ContainerHighMemory	varning	En container är nära sin minnesgräns (bara containrar med gräns, se resources)
MinIODiskUsageHigh, MinIODiskOffline, MinIOHighErrorRate	varning / kritisk	Problem med fillagringen
PgBouncerPoolSaturation, PgBouncerClientsWaiting	varning	Anslutningspoolen är nästan full (bara med PgBouncer)
RedisExporterDown, PostgresExporterDown, KafkaExporterDown, TraefikMetricsDown	varning	En mätvärdeskälla svarar inte

Snabbkontroll utan Grafana

sudo eurion-ctl status       # tjänsterna och infrastrukturen
sudo eurion-ctl health       # stoppade containrar, omstarter, disk, anslutningar, säkerhetskopior

Se Felsökning för vad utskriften betyder.