Datadog へ Fluent Bit 内部メトリクスの送信

前置き

Fluent Bit で HTTP_Server を有効化することでメトリクスを参照できる機能があります。 (v1.7.0 時点では、Windows は非対応のようです)

これを Datadog に流します。

インテグレーションが用意されているのではと思ったのですが、 ログの送信先としての案内はありますが、メトリクスはありません。 (尚、Fluentd はあります)

• Fluent Bit
  • Monitoring - Fluent Bit: Official Manual
  • Datadog Integrations Fluent Bit
• FluentD
  • Monitoring by REST API - Fluentd
  • Datadog Integrations FluentD

公式ドキュメントの方に記述は見つけられなかったのですが、OpenMetrics で連携ができるとのことでした。 Datadog は Prometheus, OpenMetrics をサポートしており、いずれもインテグレーションが用意されています。

• Support for Fluent Bit · Issue #7117 · DataDog/integrations-core · GitHub
• Kubernetes Prometheus and OpenMetrics metrics collection

設定

• Datadog Integrations OpenMetrics

openmetrics.d/conf.yaml に Fluent Bit の Prometheus format のエンドポイント (api/v1/metrics/prometheus)を指定することで、 カスタムメトリクスとして転送されます。

サンプル記載例

instances:
  - prometheus_url: <PROMETHEUS_URL>
    namespace: service
    metrics:
      - processor:cpu
      - memory:mem
      - io

全メトリクスを対象にする例

instances:
  - prometheus_url: http://127.0.0.1:2020/api/v1/metrics/prometheus
    namespace: td-agent-bit
    metrics: 
      - '*'

Datadog 上での表示

Fluent Bit のプラグイン名がname タグに振り分けられます。