Quellen-Konfiguration

Revisionshistorie

Inhaltsverzeichnis

1. Uebersichtstabelle aller Quellen
2. Detailbeschreibung pro Quelle
3. Berechtigungskonzept
4. Konfiguration via REST API
5. Monitoring der Quellen
6. Troubleshooting

1. Uebersichtstabelle aller Quellen

Das Projekt konfiguriert insgesamt 12 Log-Quellen, die ueber Cribl Edge gesammelt und an Cribl Stream zur Verarbeitung weitergeleitet werden. Alle Quellen-Konfigurationen befinden sich als JSON-Dateien unter configs/stream/sources/.

2. Detailbeschreibung pro Quelle

2.1 Systemd Journal

2.2 Apache Access Logs

2.3 Apache Error Logs

2.4 Samba Logs

2.5 Docker / Home Assistant Logs

2.6 Mosquitto MQTT Broker Logs

2.7 SSH Authentication Logs

2.8 Tor Service Logs

2.9 dnsmasq (Tor DNS Resolver)

2.10 CUPS Print Server

2.11 Boot Logs

2.12 dpkg (Paketverwaltung)

3. Berechtigungskonzept

3.1 Service-User: cribl

Der Cribl Edge Prozess laeuft unter einem dedizierten, nicht-privilegierten Service-User cribl. Der Zugriff auf Log-Dateien wird ueber Gruppenmitgliedschaften und Linux Capabilities gesteuert.

3.2 Capabilities (systemd)

# Aus cribl-edge.service:
AmbientCapabilities=CAP_DAC_READ_SEARCH CAP_SYSLOG
CapabilityBoundingSet=CAP_DAC_READ_SEARCH CAP_SYSLOG CAP_NET_BIND_SERVICE

3.3 Sicherheits-Hardening

# Aus cribl-edge.service:
NoNewPrivileges=false          # Fuer Capabilities erforderlich
ProtectSystem=full             # /usr und /boot read-only
ReadWritePaths=/opt/cribl-edge # Nur Edge-Verzeichnis beschreibbar
ProtectHome=true               # /home nicht zugreifbar
LimitNOFILE=65536              # File-Descriptor-Limit
LimitNPROC=8192                # Prozess-Limit

3.4 ACL-Konfiguration (erweitert)

Fuer Dateien, auf die weder ueber Gruppenzugehoerigkeit noch Capabilities zugegriffen werden kann, koennen POSIX ACLs (Access Control Lists) eingesetzt werden:

# ACL fuer Tor-Logs setzen (falls Standard-Berechtigungen nicht ausreichen)
sudo setfacl -R -m u:cribl:rX /var/log/tor/
sudo setfacl -R -d -m u:cribl:rX /var/log/tor/

# ACL fuer Samba-Logs
sudo setfacl -R -m u:cribl:rX /var/log/samba/
sudo setfacl -R -d -m u:cribl:rX /var/log/samba/

# ACLs pruefen
getfacl /var/log/tor/
getfacl /var/log/samba/

4. Konfiguration via REST API

4.1 Automatisierte Quellen-Konfiguration

Die Quellen werden ueber das Konfigurationsskript 04-configure-sources.sh (geplant) automatisiert erstellt. Die Konfigurationsdateien liegen unter configs/stream/sources/.

4.2 Einzelne Quelle erstellen (Beispiel)

# Authentifizierung
source scripts/lib/common.sh
source scripts/lib/api-helpers.sh
cribl_auth

# File-Monitor-Quelle erstellen
cribl_create_source "file_monitor" "configs/stream/sources/ssh-auth.json"

# Journald-Quelle erstellen
cribl_create_source "journald" "configs/stream/sources/systemd-journal.json"

# Konfiguration committen und deployen
cribl_commit_deploy "Log-Quellen konfiguriert"

4.3 Alle 12 Quellen erstellen (Batch)

# Geplanter Ablauf in 04-configure-sources.sh:

# File-Monitor-Quellen (11 Stueck)
for config in configs/stream/sources/*.json; do
    source_type=$(jq -r '.type' "$config")
    cribl_create_source "$source_type" "$config"
done

# Destinations erstellen
cribl_create_destination "splunk_hec" "configs/stream/destinations/splunk-hec.json"
cribl_create_destination "splunk_s2s" "configs/stream/destinations/splunk-s2s.json"

# Pipelines erstellen
cribl_create_pipeline "configs/stream/pipelines/pipeline-syslog-enrichment.json"
cribl_create_pipeline "configs/stream/pipelines/pipeline-apache-clf.json"

# Committen und deployen
cribl_commit_deploy "Vollstaendige Quellen-, Pipeline- und Destination-Konfiguration"

4.4 Quellen auflisten

# Alle konfigurierten Quellen abfragen
curl -s http://localhost:9000/api/v1/m/default/system/inputs \
  -H "Authorization: Bearer $TOKEN" | jq '.items[] | {id: .id, type: .type, disabled: .disabled}'

# Oder ueber api-helpers.sh:
cribl_list_sources

4.5 Quelle aktualisieren

# Bestehende Quelle aktualisieren (PATCH)
curl -s -X PATCH "http://localhost:9000/api/v1/m/default/system/inputs/file_monitor/file_monitor:ssh_auth" \
  -H "Authorization: Bearer $TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"disabled": false, "staleChannelFlushMs": 5000}'

5. Monitoring der Quellen

5.1 Input-Metriken in der Stream-UI

Fuer jede konfigurierte Quelle stellt Cribl Stream Echtzeit-Metriken bereit. Diese sind im Dashboard unter Monitoring > Sources einsehbar.

5.2 Metriken ueber die API abfragen

# Input-Metriken fuer eine bestimmte Quelle
curl -s http://localhost:9000/api/v1/system/metrics \
  -H "Authorization: Bearer $TOKEN" | jq '.inputs'

# Spezifische Quelle filtern
curl -s http://localhost:9000/api/v1/system/metrics \
  -H "Authorization: Bearer $TOKEN" | jq '.inputs | to_entries[] | select(.key | contains("ssh_auth"))'

5.3 Erwartete Volumen-Richtwerte (PoC)

6. Troubleshooting

6.1 Berechtigungsfehler

6.2 Fehlende Logs

# 1. Pruefen, ob die Log-Datei existiert und beschrieben wird
ls -la /var/log/auth.log
tail -5 /var/log/auth.log

# 2. Pruefen, ob der cribl-User die Datei lesen kann
sudo -u cribl cat /var/log/auth.log | head -1

# 3. Pruefen, ob die Quelle in Cribl aktiviert ist
curl -s http://localhost:9000/api/v1/m/default/system/inputs/file_monitor \
  -H "Authorization: Bearer $TOKEN" | jq '.items[] | select(.id | contains("ssh_auth")) | {id, disabled}'

# 4. Edge-Logs auf Fehlermeldungen pruefen
journalctl -u cribl-edge --no-pager | grep -i "error\|permission\|denied" | tail -20

6.3 Haeufige Probleme

6.4 Schnelltest: Alle Quellen pruefen

# Schnelltest: Pruefen, ob alle 12 Quell-Pfade lesbar sind
PATHS=(
    "/run/log/journal"
    "/var/log/apache2/access.log"
    "/var/log/apache2/error.log"
    "/var/log/samba/"
    "/var/lib/docker/containers/"
    "/var/log/auth.log"
    "/var/log/tor/"
    "/var/log/dnsmasq-tor.log"
    "/var/log/cups/access_log"
    "/var/log/boot.log"
    "/var/log/dpkg.log"
)

for path in "${PATHS[@]}"; do
    if sudo -u cribl test -r "$path" 2>/dev/null; then
        printf "%-45s: LESBAR\n" "$path"
    else
        printf "%-45s: NICHT LESBAR\n" "$path"
    fi
done