08 - Splunk-Integration

Revisionshistorie

Inhaltsverzeichnis

0. Interaktiver Splunk Check & Fix

1. Splunk-Vorbereitung
   1. HEC Token erstellen
   2. S2S Receiving konfigurieren
   3. Indexes anlegen
2. Index-Mapping
3. Sourcetype-Zuordnung
4. Verifikation der Datenlieferung
5. Splunk Search Beispiele
6. Benoetigte Splunk Apps und Add-ons
   1. Pflicht-Apps
   2. Empfohlene Apps
   3. Installation
   4. Konfiguration der Add-ons
7. Vergleich: Cribl vs. Splunk Universal Forwarder
8. Migration von bestehenden UF-Installationen
9. Troubleshooting

1. Splunk-Vorbereitung

Bevor Cribl Stream Daten an Splunk liefern kann, muessen auf dem Splunk-Indexer drei Komponenten konfiguriert werden: ein HEC-Token, ein S2S-Receiving-Port und die Ziel-Indexes.

1.1 HEC Token erstellen

1. In Splunk Web anmelden als Administrator
2. Navigieren zu Settings → Data Inputs → HTTP Event Collector
3. Auf Global Settings klicken:
   • All Tokens: Enabled
   • Default Source Type: (leer lassen)
   • Default Index: main
   • Enable SSL: Pruefen! Im PoC ist SSL deaktiviert (HTTP only). Bei aktiviertem SSL muss die Cribl HEC-URL https:// verwenden, bei deaktiviertem SSL http://.
   • HTTP Port Number: 8088
4. Auf New Token klicken:
   • Name: cribl_hec_token
   • Source Type: Automatic
   • Allowed Indexes: Alle PoC-Indexes auswaehlen (siehe unten)
   • Default Index: main
5. Token-Wert notieren und in .env auf dem Cribl-Server hinterlegen

# .env auf dem Cribl-Server
SPLUNK_HEC_TOKEN=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

1.2 S2S Receiving konfigurieren

1. In Splunk Web: Settings → Forwarding and Receiving
2. Unter Receive data auf Configure receiving klicken
3. Auf New Receiving Port klicken:
   • Listen on this port: 9997
4. Speichern und Splunk-Dienst neu starten (falls erforderlich)

# Verifikation: Port pruefen
netstat -tlnp | grep 9997
# oder
ss -tlnp | grep 9997

1.3 Indexes anlegen

Fuer die saubere Trennung der Datenquellen werden dedizierte Indexes erstellt. Navigieren zu Settings → Indexes → New Index:

# CLI-Alternative: Indexes ueber Splunk REST API anlegen
curl -k -u admin:password https://localhost:8089/services/data/indexes \
  -d name=idx_security \
  -d datatype=event \
  -d maxTotalDataSizeMB=10240 \
  -d frozenTimePeriodInSecs=31536000

2. Index-Mapping

Das folgende Mapping definiert, welche Datenquellen in welchen Splunk-Index geschrieben werden. Die Zuordnung erfolgt ueber die Cribl-Route und die Destination-Konfiguration:

3. Sourcetype-Zuordnung

Sourcetypes bestimmen, wie Splunk die eingehenden Daten parsed und indiziert. Die folgende Zuordnung wird ueber die Quellen-Konfiguration in Cribl oder ueber Splunk props.conf gesteuert:

4. Verifikation der Datenlieferung

Nach der vollstaendigen Konfiguration von Cribl und Splunk muss die Datenlieferung end-to-end verifiziert werden.

4.1 Schritt-fuer-Schritt-Verifikation

1. Cribl-seitig: Im Cribl-UI unter Monitoring → Destinations pruefen, ob Events an beide Destinations (HEC und S2S) geliefert werden. Die Metriken events_out und bytes_out muessen steigen.
2. Splunk-seitig: In Splunk Web die folgenden Searches ausfuehren (siehe unten).
3. Latenz pruefen: Die Zeit zwischen Event-Erzeugung und Verfuegbarkeit in Splunk sollte unter 30 Sekunden liegen (Near-Realtime).
4. Feld-Extraktion pruefen: In Splunk pruefen, ob die von Cribl extrahierten Felder korrekt als indizierte Felder verfuegbar sind.

Schnelltest: End-to-End Verifikation

# 1. Syslog-Testevent senden (→ S2S → Splunk)
logger -n 127.0.0.1 -P 514 --tcp "E2E_TEST: $(date)"

# 2. In Splunk suchen (nach 10-15 Sekunden)
curl -sk -u admin:<password> "https://<splunk>:8089/services/search/jobs/export" \
  -d search="search index=os_journal E2E_TEST earliest=-5m" \
  -d output_mode=json

# 3. Cribl Output-Metriken pruefen
TOKEN=$(curl -s -X POST "http://localhost:9000/api/v1/auth/login" \
  -H "Content-Type: application/json" \
  -d '{"username":"admin","password":"admin"}' | jq -r '.token')
curl -s -H "Authorization: Bearer $TOKEN" \
  "http://localhost:9000/api/v1/system/outputs" | jq '.items[] | {id, health: .status.health}'

4.2 Verifikations-Checkliste

• HEC-Events erscheinen in Splunk (mindestens 1 Event pro Quelltyp)
• S2S-Events erscheinen in Splunk (mindestens 1 Event pro Quelltyp)
• Alle Indexes enthalten Daten (idx_web, idx_security, idx_infrastructure, idx_containers)
• Sourcetypes sind korrekt zugeordnet
• Timestamps sind korrekt (keine Zeitverschiebung)
• Cribl-Metadaten-Felder (cribl_host, cribl_pipeline) sind in Splunk suchbar
• MITRE ATT&CK-Felder sind bei Security-Events vorhanden
• Numerische Felder (status, bytes) sind als Zahlen erkennbar

5. Splunk Search Beispiele

5.1 Apache Access Logs

index=idx_web sourcetype=access_combined
| stats count by status, method
| sort -count

index=idx_web sourcetype=access_combined status>=400
| stats count by client_ip, status, uri
| sort -count
| head 20

5.2 Apache Error Logs

index=idx_web sourcetype="apache:error"
| stats count by syslog_program, syslog_host
| sort -count

5.3 SSH-Authentifizierung (Security)

index=idx_security sourcetype=linux_secure auth_action=failed_login
| stats count by src_ip, failed_user
| sort -count
| head 20

# MITRE ATT&CK-annotierte Events
index=idx_security mitre_technique_id=T1110
| stats count by src_ip, mitre_technique_name, mitre_tactic
| sort -count

# Erfolgreiche Logins
index=idx_security sourcetype=linux_secure auth_action=successful_login
| table _time, accepted_user, src_ip, auth_method

5.4 Docker/Home-Assistant Logs

index=idx_containers sourcetype="docker:json"
| stats count by log_level, container_id
| sort -count

index=idx_containers sourcetype="docker:json" log_level=ERROR
| table _time, container_id, message

5.5 Systemd Journal

index=idx_infrastructure sourcetype=syslog
| stats count by syslog_program
| sort -count
| head 20

5.6 Samba Logs

index=idx_infrastructure sourcetype=samba
| stats count by host
| sort -count

5.7 Cribl-Herkunftspruefung (uebergreifend)

# Alle Events, die von Cribl verarbeitet wurden
index=* cribl_pipeline=*
| stats count by cribl_pipeline, index
| sort -count

# Durchsatz pro Pipeline in den letzten 24 Stunden
index=* cribl_pipeline=*
| timechart span=1h count by cribl_pipeline

6. Benoetigte Splunk Apps und Add-ons

Damit Splunk die von Cribl gelieferten Daten korrekt parsen, normalisieren und in Dashboards darstellen kann, muessen bestimmte Apps und Technology Add-ons (TAs) installiert werden. Die TAs stellen Sourcetype-Definitionen, Feld-Extraktionen und CIM-Mappings bereit.

6.1 Pflicht-Apps

Diese Apps sind fuer den korrekten Betrieb zwingend erforderlich:

6.2 Empfohlene Apps

Diese Apps erweitern die Analysefaehigkeiten und werden dringend empfohlen:

6.3 Installation

Variante A: Ueber Splunk Web (empfohlen)

1. In Splunk Web anmelden als Administrator
2. Navigieren zu Apps → Find More Apps
3. Nach dem App-Namen suchen (z.B. "Splunk Add-on for Unix")
4. Auf Install klicken und Splunk.com-Credentials eingeben
5. Splunk-Neustart nur durchfuehren, wenn ausdruecklich angefordert

Variante B: Ueber CLI (fuer Offline-Installationen)

# 1. App-Paket (.tgz) von splunkbase.splunk.com herunterladen

# 2. Installation ueber Splunk CLI
/opt/splunk/bin/splunk install app /tmp/splunk-add-on-for-unix-and-linux_920.tgz -auth admin:<password>

# 3. Splunk neu starten (falls erforderlich)
/opt/splunk/bin/splunk restart

Variante C: Ueber REST API

# App direkt von Splunkbase installieren
curl -k -u admin:<password> \
  https://localhost:8089/services/apps/local \
  -d name=Splunk_TA_nix \
  -d filename=true \
  -d update=true

6.4 Konfiguration der Add-ons

Splunk Add-on for Unix and Linux (Splunk_TA_nix)

Da die Daten nicht ueber den lokalen UF-Input, sondern ueber Cribl geliefert werden, muessen die Inputs des TA deaktiviert bleiben. Nur die Feld-Extraktionen (props.conf, transforms.conf) werden benoetigt.

# Pruefen, ob Inputs deaktiviert sind (Standard bei reiner Indexer-Installation)
cat $SPLUNK_HOME/etc/apps/Splunk_TA_nix/local/inputs.conf
# Sollte leer sein oder alle Stanzas auf disabled=1 haben

# Falls Inputs aktiv sind, deaktivieren:
cat > $SPLUNK_HOME/etc/apps/Splunk_TA_nix/local/inputs.conf << 'EOF'
[default]
disabled = 1
EOF

Sophos XG Firewall Add-on

Die Cribl-Pipeline pipeline_sophos_fw fuehrt bereits eine KVP-Extraktion und CIM-Normalisierung durch. Das Sophos TA ergaenzt zusaetzliche Lookups und Feld-Alias-Definitionen fuer die vollstaendige CIM-Kompatibilitaet.

Cribl Add-on for Splunk

Nach der Installation ist keine zusaetzliche Konfiguration erforderlich. Das Add-on erkennt automatisch alle Events mit cribl_*-Feldern und stellt Dashboards fuer Pipeline-Monitoring bereit.

Uebersicht: Installationsreihenfolge

7. Vergleich: Cribl vs. Splunk Universal Forwarder

8. Migration von bestehenden UF-Installationen

8.1 Migrationsstrategie

Die Migration von bestehenden Splunk Universal Forwarders (UF) zu Cribl Edge erfolgt schrittweise nach dem Blue-Green-Prinzip:

1. Phase 1: Parallelbetrieb
   • Cribl Edge wird neben dem bestehenden UF auf dem gleichen Host installiert
   • Beide Agenten senden Daten an Splunk (Duplikation beabsichtigt)
   • Verifikation: Daten in Splunk vergleichen (Vollstaendigkeit, Latenz, Feldzuordnung)
2. Phase 2: Validierung
   • Mindestens 7 Tage Parallelbetrieb
   • Automatisierte Vergleichssuchen in Splunk (Event-Counts, Feld-Coverage)
   • Abnahme durch Security- und Betriebsteam
3. Phase 3: Umschaltung
   • UF wird deaktiviert (nicht sofort deinstalliert)
   • Cribl Edge uebernimmt vollstaendig
   • Monitoring der Datenlieferung fuer 48 Stunden
4. Phase 4: Bereinigung
   • UF wird deinstalliert
   • Deployment-Server-Konfiguration bereinigt
   • Dokumentation aktualisiert

8.2 Mapping: UF-Konfiguration zu Cribl

8.3 Verifikations-Search fuer Migration

# Event-Count-Vergleich: UF vs. Cribl (letzten 24h)
index=* host=migrierter_host
| eval source_system=if(isnotnull(cribl_pipeline),"Cribl","UF")
| stats count by source_system, sourcetype
| sort sourcetype

9. Troubleshooting

9.1 Keine Daten in Splunk

# Token in Cribl via API pruefen
curl -s -H "Authorization: Bearer $TOKEN" \
  http://10.10.0.100:9000/api/v1/system/outputs/splunk_hec \
  | jq '.items[0].token'

# HEC Health pruefen
curl -s http://10.10.0.66:8088/services/collector/health
# Erwartet: {"text":"HEC is healthy","code":17}

# Falls Fehler: In Splunk Web pruefen:
# Settings → Data Inputs → HTTP Event Collector
# → Global Settings → All Tokens: Enabled

# Port pruefen
nc -zv 10.10.0.66 9997

# In Splunk Web pruefen:
# Settings → Forwarding and Receiving → Receive data
# Port 9997 muss gelistet sein

9.2 Diagnose-Befehle

# === Cribl-seitig ===

# Alle Output-Health-Status
TOKEN=$(curl -s -X POST "http://10.10.0.100:9000/api/v1/auth/login" \
  -H "Content-Type: application/json" \
  -d '{"username":"admin","password":"***"}' | jq -r '.token')
curl -s -H "Authorization: Bearer $TOKEN" \
  "http://10.10.0.100:9000/api/v1/system/outputs" \
  | jq '.items[] | {id, type, health: .status.health, sent: .status.metrics.sentCount}'

# === Splunk-seitig ===

# Letzte 15 Minuten: Events pro Index zaehlen
curl -sk -u admin:<password> "https://10.10.0.66:8089/services/search/jobs/export" \
  -d 'search=search index=* earliest=-15m | stats count by index, sourcetype' \
  -d output_mode=json

# HEC-Token-Status pruefen
curl -sk -u admin:<password> \
  "https://10.10.0.66:8089/services/data/inputs/http" \
  | python3 -c "import sys,json; [print(f'{e[\"name\"]}: disabled={e[\"content\"][\"disabled\"]}') for e in json.load(sys.stdin)[\"entry\"]]"

# Index-Groesse pruefen
curl -sk -u admin:<password> \
  "https://10.10.0.66:8089/services/data/indexes?output_mode=json&count=0" \
  | jq '.entry[] | select(.content.totalEventCount != "0") | {name: .name, events: .content.totalEventCount, size_mb: .content.currentDBSizeMB}'

9.3 Haeufige Fehler nach Erstinstallation