18 - Kibana Betriebsmonitoring Setup

1. Ueberblick

Das Betriebsmonitoring-Dashboard bietet eine CheckMK-aehnliche Uebersicht ueber:

• System Health - CPU, Memory, Disk der Sophos XG Firewall
• Netzwerk - Interface-Durchsatz (RX/TX)
• Firewall - Allowed/Denied Actions, Top Sources, Protokolle, Rules
• Container & Dienste - Docker-Container Error-Raten, Log-Volumen, Severity-Heatmap
• Dienste-Events - DHCP, IPSec, Content Filtering, Host-Aktivitaet

Dashboards:

2. Voraussetzungen

Alle Container laufen im selben Docker-Netzwerk und kommunizieren intern.

3. Datenstruktur im Index

Der Index cribl-ops enthaelt zwei Hauptdatenquellen:

3.1 Sophos XG Firewall Logs (~8.9 Mio. Dokumente)

Empfangen via Syslog, verarbeitet durch die Cribl Pipeline pipeline_sophos_fw.

3.2 System Health Felder (Sophos)

3.3 NUC-HA Docker/Journald Logs (~2.3 Mio. Dokumente)

Empfangen via Cribl Edge (Journald-Quelle), klassifiziert durch ollama_classifier Pipeline.

3.4 Gemeinsame Felder

4. Runtime Fields anlegen

Da Sophos System-Health-Werte als Text gespeichert werden, muessen Runtime Fields angelegt werden, die zur Abfragezeit die Werte in numerische Typen konvertieren.

curl -X PUT "http://10.10.0.100:9200/cribl-ops/_mapping" \
  -H 'Content-Type: application/json' \
  -d '{
  "runtime": {
    "cpu_idle_pct": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"idle.keyword\") && doc[\"idle.keyword\"].size() > 0) { String v = doc[\"idle.keyword\"].value; if (v.endsWith(\"%\")) { v = v.substring(0, v.length()-1); } try { emit(Double.parseDouble(v)); } catch(Exception e) {} }"
      }
    },
    "cpu_user_pct": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"user.keyword\") && doc[\"user.keyword\"].size() > 0) { String v = doc[\"user.keyword\"].value; if (v.endsWith(\"%\")) { v = v.substring(0, v.length()-1); } try { emit(Double.parseDouble(v)); } catch(Exception e) {} }"
      }
    },
    "cpu_system_pct": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"system.keyword\") && doc[\"system.keyword\"].size() > 0) { String v = doc[\"system.keyword\"].value; if (v.endsWith(\"%\")) { v = v.substring(0, v.length()-1); } try { emit(Double.parseDouble(v)); } catch(Exception e) {} }"
      }
    },
    "mem_total_bytes": {
      "type": "long",
      "script": {
        "source": "if (doc.containsKey(\"total_memory.keyword\") && doc[\"total_memory.keyword\"].size() > 0) { try { emit(Long.parseLong(doc[\"total_memory.keyword\"].value)); } catch(Exception e) {} }"
      }
    },
    "mem_used_bytes": {
      "type": "long",
      "script": {
        "source": "if (doc.containsKey(\"used.keyword\") && doc[\"used.keyword\"].size() > 0) { try { emit(Long.parseLong(doc[\"used.keyword\"].value)); } catch(Exception e) {} }"
      }
    },
    "mem_free_bytes": {
      "type": "long",
      "script": {
        "source": "if (doc.containsKey(\"free.keyword\") && doc[\"free.keyword\"].size() > 0) { try { emit(Long.parseLong(doc[\"free.keyword\"].value)); } catch(Exception e) {} }"
      }
    },
    "net_rx_kbits": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"receivedkbits.keyword\") && doc[\"receivedkbits.keyword\"].size() > 0) { try { emit(Double.parseDouble(doc[\"receivedkbits.keyword\"].value)); } catch(Exception e) {} }"
      }
    },
    "net_tx_kbits": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"transmittedkbits.keyword\") && doc[\"transmittedkbits.keyword\"].size() > 0) { try { emit(Double.parseDouble(doc[\"transmittedkbits.keyword\"].value)); } catch(Exception e) {} }"
      }
    },
    "disk_config_pct": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"Configuration.keyword\") && doc[\"Configuration.keyword\"].size() > 0) { String v = doc[\"Configuration.keyword\"].value; if (v.endsWith(\"%\")) { v = v.substring(0, v.length()-1); } try { emit(Double.parseDouble(v)); } catch(Exception e) {} }"
      }
    },
    "disk_reports_pct": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"Reports.keyword\") && doc[\"Reports.keyword\"].size() > 0) { String v = doc[\"Reports.keyword\"].value; if (v.endsWith(\"%\")) { v = v.substring(0, v.length()-1); } try { emit(Double.parseDouble(v)); } catch(Exception e) {} }"
      }
    }
  }
}'

Uebersicht der Runtime Fields

5. Index Pattern konfigurieren

curl -s 'http://10.10.0.100:5601/api/saved_objects/_find?type=index-pattern' \
  -H 'kbn-xsrf: true' | python3 -m json.tool

curl -X POST "http://10.10.0.100:5601/api/saved_objects/index-pattern/99f5381a-3d59-4cec-8ce4-77ee8a90595d" \
  -H "kbn-xsrf: true" \
  -H "Content-Type: application/json" \
  -d '{
  "attributes": {
    "title": "cribl-ops*",
    "timeFieldName": "@timestamp",
    "name": "Cribl Operations Logs"
  }
}'

6. Dashboard-Aufbau

Das Dashboard besteht aus 25 Panels in 5 Sektionen. Jeder Panel-Typ wird im Folgenden erklaert, damit eigene Panels erstellt oder bestehende angepasst werden koennen.

6.1 KPI-Metrik-Panels

Grosse Zahlenwerte als Uebersicht (z.B. "Events Gesamt", "Errors", "FW Denied").

Manuell in Kibana erstellen:

1. Dashboard oeffnen → Edit → Create visualization
2. Visualization Type: Metric
3. Metric: Count (Aggregation ueber alle Dokumente)
4. Optional: Filter hinzufuegen (z.B. severityName.keyword: error fuer Error-Zaehler)
5. Farbe anpassen: Panel Settings → Color

API-Struktur (Lens Metric):

{
  "visualizationType": "lnsMetric",
  "state": {
    "datasourceStates": {
      "formBased": {
        "layers": {
          "l1": {
            "columns": {
              "c1": {
                "label": "Errors",          // Angezeigter Name
                "operationType": "count",    // Aggregation: count, sum, avg, min, max
                "sourceField": "___records___"
              }
            }
          }
        }
      }
    },
    "visualization": {
      "metricAccessor": "c1",
      "color": "#E7664C"                    // Farbe als Hex
    },
    "filters": [{                           // Optional: Vorfilterung
      "query": { "match_phrase": { "severityName.keyword": "error" }}
    }]
  }
}

6.2 Zeitreihen-Charts (XY)

Fuer CPU, Memory, Netzwerk-Durchsatz und andere zeitbasierte Metriken.

Manuell erstellen:

1. Create visualization → Typ: Line oder Area
2. X-Achse: @timestamp (Date Histogram, Auto-Interval)
3. Y-Achse: Average von cpu_user_pct (Runtime Field)
4. Weitere Metriken als zusaetzliche Y-Achsen-Werte hinzufuegen
5. Filter setzen: log_component.keyword: CPU
6. Y-Achse begrenzen: 0-100 fuer Prozent-Werte

Wichtige Einstellungen:

Beispiel: CPU-Chart mit fixierten Farben

// colorMapping-Beispiel: Feste Farben pro Serie
"colorMapping": {
  "assignments": [
    {
      "rule": {"type": "matchExactly", "values": ["CPU User %"]},
      "color": {"type": "colorCode", "colorCode": "#6092C0"}
    },
    {
      "rule": {"type": "matchExactly", "values": ["CPU System %"]},
      "color": {"type": "colorCode", "colorCode": "#E7664C"}
    }
  ],
  "specialAssignments": [
    {"rule": {"type": "other"}, "color": {"type": "loop"}}
  ]
}

6.3 Balkendiagramme (Top-N)

Horizontale Balken fuer "Top Denied Sources", "Container Errors", "Top Hosts".

Manuell erstellen:

1. Create visualization → Bar horizontal
2. X-Achse: Terms-Aggregation auf src.keyword (Top 15)
3. Y-Achse: Count
4. Filter: action.keyword: Denied
5. Value Labels: "Show" fuer bessere Lesbarkeit

API-Schluesselfelder:

// Terms-Spalte fuer Top-N
{
  "label": "Source IP",
  "operationType": "terms",
  "sourceField": "src.keyword",
  "params": {
    "size": 15,              // Anzahl Top-Eintraege
    "orderDirection": "desc", // Absteigend sortiert
    "exclude": ["-"],         // Werte ausschliessen
    "include": []             // Oder nur bestimmte einschliessen
  }
}

6.4 Donut/Pie-Charts

Fuer Verteilungen (Protokolle, Log-Komponenten).

Manuell erstellen:

1. Create visualization → Donut
2. Slice By: Terms auf protocol.keyword
3. Size: Count
4. "Other" Bucket aktivieren fuer Zusammenfassung kleiner Werte

API:

"visualizationType": "lnsPie",
"visualization": {
  "shape": "donut",    // oder "pie" fuer Vollkreis
  "layers": [{
    "primaryGroups": ["proto"],  // Slice-Feld
    "metrics": ["cnt"],          // Groesse
    "numberDisplay": "percent"   // Prozent anzeigen
  }]
}

6.5 Heatmap

Ideal fuer Container × Severity Matrix.

Manuell erstellen:

1. Create visualization → Heatmap
2. X-Achse: Terms auf severityName.keyword
3. Y-Achse: Terms auf CONTAINER_NAME.keyword
4. Value: Count
5. Palette: "Status" fuer intuitive Rot/Gelb/Gruen-Faerbung

API:

"visualizationType": "lnsHeatmap",
"visualization": {
  "xAccessor": "sev",       // Severity (X)
  "yAccessor": "cname",     // Container (Y)
  "valueAccessor": "cnt",   // Wert (Farbe)
  "palette": {"type": "palette", "name": "status"},
  "gridConfig": {"isCellLabelVisible": true}
}

6.6 Datentabellen

Fuer detaillierte Auflistungen (Event-Typen, Firewall Rules).

Manuell erstellen:

1. Create visualization → Table
2. Rows: Terms auf log_type.keyword, dann log_component.keyword
3. Metrics: Count
4. Paging aktivieren (10 Zeilen pro Seite)

API:

"visualizationType": "lnsDatatable",
"visualization": {
  "columns": [
    {"columnId": "lt", "isTransposed": false},
    {"columnId": "cnt", "isTransposed": false}
  ],
  "paging": {"size": 10, "enabled": true}
}

7. Dashboard via API erstellen

Dashboards koennen ueber die Kibana Saved Objects API erstellt werden:

curl -X POST "http://10.10.0.100:5601/api/saved_objects/dashboard/DASHBOARD-ID" \
  -H "kbn-xsrf: true" \
  -H "Content-Type: application/json" \
  -d '{
  "attributes": {
    "title": "Mein Dashboard",
    "description": "Beschreibung",
    "timeRestore": true,
    "timeTo": "now",
    "timeFrom": "now-24h",
    "refreshInterval": {"pause": false, "value": 60000},
    "kibanaSavedObjectMeta": {
      "searchSourceJSON": "{\"query\":{\"query\":\"\",\"language\":\"kuery\"},\"filter\":[]}"
    },
    "panelsJSON": "[...]",     // JSON-String mit Panel-Array
    "optionsJSON": "{\"useMargins\":true,\"syncColors\":true}",
    "version": 1
  }
}'

# Export eines bestehenden Dashboards
curl -s "http://10.10.0.100:5601/api/saved_objects/dashboard/ops-monitoring-v1" \
  -H "kbn-xsrf: true" | python3 -m json.tool > dashboard-export.json

# PanelsJSON extrahieren und formatiert anzeigen
cat dashboard-export.json | python3 -c "
import json, sys
data = json.load(sys.stdin)
panels = json.loads(data['attributes']['panelsJSON'])
print(json.dumps(panels, indent=2))
" > panels-formatted.json

# Loeschen
curl -X DELETE "http://10.10.0.100:5601/api/saved_objects/dashboard/ops-monitoring-v1" \
  -H "kbn-xsrf: true"

# Neu erstellen mit geaenderten Panels
curl -X POST "http://10.10.0.100:5601/api/saved_objects/dashboard/ops-monitoring-v1" \
  -H "kbn-xsrf: true" \
  -H "Content-Type: application/json" \
  -d @updated-dashboard.json

8. Navigations-Dashboard

Ein spezielles Dashboard dient als Hauptmenue mit Links zu allen anderen Dashboards:

• ID: navigation-menu
• URL: http://10.10.0.100:5601/app/dashboards#/view/navigation-menu
• Besteht aus einem einzigen Markdown-Panel mit Tabellen und Links
• Links verwenden das Format: http://10.10.0.100:5601/app/dashboards#/view/DASHBOARD-ID

Markdown-Format fuer Dashboard-Links:

| Dashboard | Beschreibung | Link |
|-----------|-------------|------|
| **Betriebsmonitoring** | System Health & Dienste | [Oeffnen](http://10.10.0.100:5601/app/dashboards#/view/ops-monitoring-v1) |
| **Docker Logs** | Log-Klassifikation | [Oeffnen](http://10.10.0.100:5601/app/dashboards#/view/icedataemphasise-docker-log-dashboard) |

9. Eigene Anpassungen vornehmen

9.1 Neues Panel hinzufuegen

1. Dashboard oeffnen → Edit
2. Create visualization klicken
3. Datenquelle: Cribl Operations Logs waehlen
4. Felder aus der linken Sidebar per Drag&Drop ziehen
5. Save and return

9.2 Filter anpassen

Jedes Panel kann eigene Filter haben. In der API-Struktur unter state.filters:

// Einfacher Term-Filter
{"query": {"match_phrase": {"log_component.keyword": "CPU"}}}

// Exists-Filter (Feld muss vorhanden sein)
{"query": {"exists": {"field": "CONTAINER_NAME"}}}

// Mehrere Werte (should/or)
{"query": {"bool": {"should": [
  {"match_phrase": {"action.keyword": "Denied"}},
  {"match_phrase": {"action.keyword": "Drop"}}
]}}}

9.3 Neues Runtime Field hinzufuegen

Fuer weitere numerische Felder, die als Text gespeichert sind:

curl -X PUT "http://10.10.0.100:9200/cribl-ops/_mapping" \
  -H 'Content-Type: application/json' \
  -d '{
  "runtime": {
    "mein_neues_feld": {
      "type": "double",
      "script": {
        "source": "if (doc.containsKey(\"quellfeld.keyword\") && doc[\"quellfeld.keyword\"].size() > 0) { try { emit(Double.parseDouble(doc[\"quellfeld.keyword\"].value)); } catch(Exception e) {} }"
      }
    }
  }
}'

Danach in Kibana unter Data Views die Felder refreshen.

9.4 Farbpalette aendern

Die Farbzuweisungen in colorMapping verwenden Hex-Codes:

10. Feld-Referenz

Haeufig verwendete Filter-Kombinationen

Verfuegbare Container im Index