Grafana Loki — Log-AggregationGrafana Loki — Log Aggregation

Grafana Loki ist ein System zur Sammlung und Abfrage von Logdaten, das Grafana Labs Ende 2018 vorstellte. Das Vorbild ist Prometheus: Wie dort werden Datenströme über Labels (z. B. `app`, `namespace`, `host`) identifiziert. Loki indexiert ausschließlich diese Labels, nicht den Inhalt der Logzeilen.

Die Zeilen selbst werden in komprimierten Blöcken (Chunks) abgelegt, meist in einem Objektspeicher wie S3 oder Google Cloud Storage. Das macht den Betrieb deutlich günstiger und einfacher als bei Systemen mit Volltext-Index, kostet aber bei breiten Suchen Rechenzeit, weil die Daten beim Abfragen durchsucht werden.

Abgefragt wird mit LogQL. Eine Abfrage wählt zuerst Datenströme über Labels aus und filtert danach den Text, etwa `{app="nginx"} |= "error"`. Aus Logzeilen lassen sich zudem Metriken ableiten, z. B. Fehler pro Sekunde.

Als Sammler dienten lange Promtail, inzwischen ist Grafana Alloy der vorgesehene Nachfolger. Seit 2021 steht Loki unter der AGPL-3.0, davor unter Apache 2.0. Typisch ist die Kombination mit Grafana für Dashboards und Prometheus für Metriken.

Grafana Loki is a system for collecting and querying log data that Grafana Labs introduced in late 2018. Its model is Prometheus: as there, streams are identified by labels (e.g. `app`, `namespace`, `host`). Loki indexes only those labels, not the content of the log lines.

The lines themselves are stored in compressed chunks, usually in object storage such as S3 or Google Cloud Storage. This makes operation considerably cheaper and simpler than with full-text-index systems, but broad searches cost compute time because the data is scanned at query time.

Queries use LogQL. A query first selects streams by labels and then filters the text, for example `{app="nginx"} |= "error"`. Metrics such as errors per second can also be derived from log lines.

Promtail served as the collector for a long time; Grafana Alloy is now the intended successor. Since 2021 Loki is licensed under the AGPL-3.0, previously Apache 2.0. It is typically combined with Grafana for dashboards and Prometheus for metrics.