Architekturuebersicht

Revisionshistorie

Inhaltsverzeichnis

1. Systemuebersicht und Zielsetzung
2. Komponentendiagramm
3. Netzwerktopologie
4. Datenfluss
5. Sizing und Ressourcenbedarf
6. Lizenzmodell
7. RACI-Matrix

1. Systemuebersicht und Zielsetzung

1.1 Projektziel

Das Projekt IceDataEmphasise evaluiert Cribl Stream und Cribl Edge als moderne Alternative zu Splunk Universal Forwardern (UF) fuer den Einsatz in einer regulierten deutschen Bankumgebung. Ziel des Proof of Concept (PoC) ist die Validierung folgender Aspekte:

• Zentrale Sammlung und Weiterleitung von Log-Daten an Splunk Enterprise
• Unabhaengigkeit vom Splunk Universal Forwarder bei gleichbleibender Funktionalitaet
• Daten-Enrichment und -Transformation in Echtzeit (Pipelines)
• Skalierbare Architektur mit zentralem Management (Fleet Management)
• Compliance-konforme Log-Verarbeitung gemaess bankaufsichtlicher Anforderungen

1.2 Warum Cribl statt Splunk Universal Forwarder?

1.3 Scope des PoC

Der PoC wird auf einem Intel NUC durchgefuehrt, der gleichzeitig als Home-Assistant-Server dient. Es werden 12 Log-Quellen ueber Cribl Edge gesammelt, durch Cribl Stream verarbeitet und an eine externe Splunk-Instanz weitergeleitet.

2. Komponentendiagramm

2.1 Uebersicht der Systemkomponenten

  +=========================================================================+
  |                        Intel NUC (Debian Linux)                         |
  |                                                                         |
  |  +---------------------------+    +----------------------------------+  |
  |  |     Cribl Edge            |    |        Cribl Stream              |  |
  |  |     /opt/cribl-edge       |    |        /opt/cribl                |  |
  |  |                           |    |                                  |  |
  |  |  - File Monitor (11x)    |--->|  - Routes & Pipelines           |  |
  |  |  - Journald (1x)         |    |  - Syslog Enrichment            |  |
  |  |  - Managed-Edge Mode     |    |  - Apache CLF Parser            |  |
  |  |                           |    |  - Fleet Management             |  |
  |  |  Port: 4200 (Mgmt)       |    |  - Port: 9000 (UI/API)         |  |
  |  +---------------------------+    |  - Port: 9420 (intern)          |  |
  |                                   |  - Port: 4200 (Edge Mgmt)      |  |
  |  +---------------------------+    |                                  |  |
  |  |  Tailscale/Headscale      |    +---------------+------------------+  |
  |  |  VPN-Overlay-Netzwerk     |                    |                     |
  |  +---------------------------+                    |                     |
  |                                                   |                     |
  +===================================================|=====================+
                                                      |
                              +----------+------------+----------+
                              |          |                       |
                              v          v                       v
                        +-----------+ +-----------+    +------------------+
                        | Splunk HEC| | Splunk S2S|    | Windows Edge     |
                        | Port 8088 | | Port 9997 |    | (geplant)        |
                        +-----+-----+ +-----+-----+    +------------------+
                              |              |
                              v              v
                      +---------------------------+
                      |    Splunk Enterprise       |
                      |    (externe Instanz)       |
                      +---------------------------+

2.2 Komponentenbeschreibung

3. Netzwerktopologie

3.1 Ports und Protokolle

3.2 Firewall-Regeln

# Cribl Stream UI nur ueber Tailscale erlauben
iptables -A INPUT -i tailscale0 -p tcp --dport 9000 -j ACCEPT
iptables -A INPUT -p tcp --dport 9000 -j DROP

# Edge Management (lokal oder ueber Tailscale)
iptables -A INPUT -i lo -p tcp --dport 4200 -j ACCEPT
iptables -A INPUT -i tailscale0 -p tcp --dport 4200 -j ACCEPT
iptables -A INPUT -p tcp --dport 4200 -j DROP

4. Datenfluss

4.1 End-to-End Datenflusspfad

  Log-Quellen (12 Stueck)          Cribl Edge              Cribl Stream              Splunk
  ========================    ==================    ==========================    ============

  /var/log/auth.log       \                        +------------------------+
  /var/log/apache2/*.log   \   +--------------+    | Routes                 |
  /var/log/samba/log.*      -->| File Monitor |    |  - filter(source)      |    +---------+
  /var/log/tor/*            /  | (11 Quellen) |--->|  - pipeline-zuordnung  |--->| Splunk  |
  /var/log/cups/access_log /   +--------------+    +------------------------+    | HEC     |
  /var/log/boot.log*      /                        | Pipelines              |    | :8088   |
  /var/log/dpkg.log*     /     +--------------+    |  - syslog_enrichment   |    +---------+
  /var/log/dnsmasq-tor.log     | Journald     |    |  - apache_clf          |
  /var/lib/docker/**/*.log --->| (1 Quelle)   |--->|  - Eval (Metadaten)    |--->+---------+
                               +--------------+    |  - Regex Extract       |    | Splunk  |
                                                   |  - Auto Timestamp      |    | S2S     |
  /run/log/journal ------->    Managed Edge        +------------------------+    | :9997   |
                               tcp://127.0.0.1:4200                              +---------+

4.2 Verarbeitungsschritte im Detail

1. Erfassung (Collection): Cribl Edge liest Log-Dateien ueber File Monitor und systemd Journal ueber die Journald-Quelle.
2. Transport: Edge sendet Events ueber die interne Verbindung (Port 4200) an Cribl Stream.
3. Routing: Die Route-Tabelle in Stream ordnet eingehende Events anhand von Filtern den passenden Pipelines zu.
4. Transformation (Pipelines):
   • pipeline_syslog_enrichment -- Hostname, Environment-Metadaten; Syslog-Felder-Extraktion
   • pipeline_apache_clf -- Combined Log Format Parsing; Statuscode-/Bytes-Konvertierung
5. Ausgabe (Destinations): Verarbeitete Events werden parallel an Splunk HEC (Port 8088) und Splunk S2S (Port 9997) gesendet.

4.3 Persistent Queues

5. Sizing und Ressourcenbedarf

5.1 Mindestanforderungen (PoC)

5.2 Ressourcenverteilung

5.3 Skalierungshinweise fuer Produktionsbetrieb

6. Lizenzmodell

6.1 Cribl Free Tier

6.2 Upgrade-Pfade

Bei Uebergang in den Produktivbetrieb stehen folgende Lizenzoptionen zur Verfuegung:

• Cribl.Cloud Standard: SaaS-Variante mit verwalteter Infrastruktur
• Cribl Enterprise: On-Premise mit Multi-Worker-Gruppen, RBAC, SSO-Integration
• Cribl Enterprise (Hybrid): Kombination aus Cloud-Management und On-Premise-Workern

7. RACI-Matrix