Cribl Stream Konfiguration

Revisionshistorie

Inhaltsverzeichnis

1. Initiale Konfiguration nach Installation
2. Worker Processes und Threading
3. Authentication und Benutzer-Management
4. Systemeinstellungen
5. API-Zugang und Token-Management
6. TLS-Konfiguration
7. Fleet Management Konzept

1. Initiale Konfiguration nach Installation

1.1 Erster Zugriff auf die Web-UI

Nach der Installation von Cribl Stream ist die Web-UI unter http://<host>:9000 erreichbar. Beim ersten Zugriff muss das Admin-Passwort gesetzt werden.

# Stream-UI aufrufen (ueber Tailscale-IP)
http://<tailscale-ip>:9000

# Alternativ lokal:
http://localhost:9000

1.2 Initiale Login-Daten

1.3 Konfigurationsverzeichnis-Struktur

/opt/cribl/
  bin/                     # Cribl-Binaries
  default/                 # Standard-Konfiguration (nicht editieren)
  local/                   # Lokale Anpassungen (ueberschreibt default)
    cribl/
      cribl.yml            # Hauptkonfiguration
      auth/                # Authentifizierung
      inputs/              # Quellen-Definitionen
      outputs/             # Destinations
      pipelines/           # Verarbeitungs-Pipelines
      routes/              # Route-Tabellen
  log/                     # Log-Dateien
  pid/                     # PID-Dateien
  state/                   # Laufzeitstatus

2. Worker Processes und Threading

2.1 Worker-Konfiguration

Cribl Stream nutzt Node.js und kann mehrere Worker-Prozesse starten, um CPU-Kerne effizient zu nutzen. Im Free Tier ist nur ein einzelner Worker-Prozess erlaubt.

2.2 Konfiguration via cribl.yml

# /opt/cribl/local/cribl/cribl.yml (Auszug)
api:
  host: 0.0.0.0
  port: 9000
  disabled: false
  ssl:
    disabled: true    # TLS fuer API -- siehe Abschnitt 6

distributed:
  mode: master        # Stream Leader-Modus
  port: 4200          # Edge Management Port

2.3 Performance-Tuning

• LimitNOFILE=65536 -- File-Descriptor-Limit im systemd-Service (bereits gesetzt)
• staleChannelFlushMs: 10000 -- Flush-Intervall fuer inaktive Quellen-Kanaele
• Persistent Queue Groesse pro Destination: pqMaxSize: 1GB

3. Authentication und Benutzer-Management

3.1 Lokale Benutzer

Cribl Stream verwaltet Benutzer in einer lokalen Datenbank. Fuer den PoC wird ausschliesslich der admin-Benutzer verwendet.

3.2 Rollen und Berechtigungen

Cribl Stream unterstuetzt folgende vordefinierte Rollen:

3.3 Benutzer anlegen (API)

# Neuen Benutzer ueber die REST API anlegen
curl -s -X POST http://localhost:9000/api/v1/auth/users \
  -H "Authorization: Bearer <TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "username": "auditor",
    "password": "<sicheres_passwort>",
    "first": "Audit",
    "last": "User",
    "roles": ["read_only"]
  }'

3.4 Empfehlungen fuer den Produktivbetrieb

4. Systemeinstellungen

4.1 Logging

# Log-Level temporaer auf debug aendern (ueber API)
curl -s -X PATCH http://localhost:9000/api/v1/system/settings \
  -H "Authorization: Bearer <TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{"logLevel": "debug"}'

4.2 Metriken (Internal Metrics)

Cribl Stream stellt interne Metriken ueber den Endpunkt /api/v1/system/metrics bereit. Diese koennen fuer Monitoring und Alerting genutzt werden.

4.3 Diagnostics

# Diagnostics-Bundle erstellen (ueber CLI)
/opt/cribl/bin/cribl diag

# Diagnostics-Bundle ueber die API erstellen
curl -s -X POST http://localhost:9000/api/v1/system/diag \
  -H "Authorization: Bearer <TOKEN>" \
  --output diag-bundle.tar.gz

Das Diagnostics-Bundle enthaelt Konfiguration, Logs, Metriken und Systeminformationen und kann fuer den Support oder die Fehleranalyse verwendet werden.

5. API-Zugang und Token-Management

5.1 REST API Uebersicht

Die Cribl Stream REST API ist unter http://<host>:9000/api/v1/ erreichbar und bietet programmgesteuerten Zugriff auf alle Konfigurationsbereiche.

5.2 Authentifizierung (Bearer Token)

Die API verwendet Bearer-Token-Authentifizierung. Das Token wird ueber den Login-Endpunkt bezogen. Die Hilfsbibliothek scripts/lib/api-helpers.sh kapselt diesen Vorgang in der Funktion cribl_auth().

# Token beziehen
TOKEN=$(curl -s -X POST http://localhost:9000/api/v1/auth/login \
  -H "Content-Type: application/json" \
  -d '{"username":"admin","password":"<passwort>"}' | jq -r '.token')

# Token verwenden
curl -s http://localhost:9000/api/v1/health \
  -H "Authorization: Bearer $TOKEN"

5.3 API-Wrapper-Funktionen

Das Projekt stellt in scripts/lib/api-helpers.sh komfortable Wrapper bereit:

6. TLS-Konfiguration

6.1 PoC-Status

6.2 TLS fuer die Web-UI/API aktivieren

# /opt/cribl/local/cribl/cribl.yml
api:
  host: 0.0.0.0
  port: 9000
  ssl:
    disabled: false
    privKeyPath: /opt/cribl/local/certs/server.key
    certPath: /opt/cribl/local/certs/server.crt
    # Optional: CA-Zertifikat fuer Client-Zertifikats-Validierung
    # caPath: /opt/cribl/local/certs/ca.crt

6.3 TLS fuer Destinations

Die Splunk-Destinations sind wie folgt konfiguriert:

6.4 Zertifikatsverwaltung fuer den Produktivbetrieb

7. Fleet Management Konzept

7.1 Architektur

Cribl Fleet Management ermoeglicht die zentrale Verwaltung von Edge Nodes ueber den Stream Leader. Edge Nodes werden in Fleets (Gruppen) organisiert, die jeweils eine eigene Konfiguration erhalten koennen.

  +---------------------------+
  |    Cribl Stream Leader    |
  |    (Fleet Manager)        |
  |    Port 4200 (Mgmt)       |
  +------+----------+---------+
         |          |
         v          v
  +-----------+  +-----------+
  | Fleet:    |  | Fleet:    |
  | nuc-linux |  | windows-  |
  |           |  | workstns  |
  | - Edge 1  |  | - Edge 3  |
  | - Edge 2  |  | - Edge 4  |
  +-----------+  +-----------+

7.2 Geplante Fleet-Struktur

7.3 Fleet erstellen (API)

# Fleet ueber die API erstellen (api-helpers.sh)
cribl_create_fleet "nuc-linux" "Linux Edge Nodes auf Intel NUC Systemen"

# Oder direkt per curl:
curl -s -X POST http://localhost:9000/api/v1/master/groups \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"id": "nuc-linux", "description": "Linux Edge Nodes auf Intel NUC Systemen"}'

7.4 Konfiguration deployen

Aenderungen an der Stream-Konfiguration muessen committed und anschliessend auf die Fleets deployed werden. Dies erfolgt ueber die API-Wrapper-Funktion cribl_commit_deploy():

# Konfiguration committen und deployen
cribl_commit_deploy "Quellen-Konfiguration fuer NUC-Fleet erstellt"

# Oder manuell per API:
# 1. Commit
curl -s -X POST http://localhost:9000/api/v1/version/commit \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"message": "Quellen-Konfiguration aktualisiert", "effective": true}'

# 2. Deploy
curl -s -X POST http://localhost:9000/api/v1/master/groups/default/deploy \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{}'

7.5 Versionierung

Cribl Stream verfuegt ueber ein integriertes Git-basiertes Versionierungssystem. Jeder Commit erzeugt einen Versionseintrag, der ueber die UI oder API eingesehen und bei Bedarf zurueckgesetzt werden kann.