DASH 2023 で発表されていた Flex Logs が一般公開されました。 Flex Logs is now generally available 料金と特徴 有効化 機能と制限 制限 機能面 料金と特徴 Pricing | Datadog 日本語ページにはまだ記載がありませんでしたが、上記の公式料金ページから確…

Datadog に Team 機能があります。 Datadog上の各リソースをユーザに紐付けてグルーピングできる機能です。 Teams Team Management 公式ドキュメントの上記のページ以外には情報があまり無いようなので、捕捉していきます。 Handle Avatar and Banner リソー…

Datadog UI 上でポチポチしていたら偶然気付いたのですが、 Datadog の rollup 関数でタイムゾーンと開始タイミングを指定できるようになっています。 Rollup関数 グラフでデータポイントのロールアップを強制できる rollup() 関数があります。 現時点ではド…

Datadog の Nginx Integration を利用してログを収集した際に error.log が UTC で取り込まれるため対処します。 前提 事象 OK: access.log は JST で取り込まれる NG: error.log が UTC で取り込まれる 対処 Nginx Integration pipeline (確認) (1) Grok Pa…

数億年振りに Datadog の Web UI からポチポチと monitor を新規作成していた所、見慣れない項目を見つけました。 Evaluation window Rolling time windows Cumulative time windows 例 daily log index quota とは monitor 例 Evaluation window 公式ドキュ…

経緯 前提 JSON形式 特殊文字 検証に使用したログ 回避策 (a) 特に何もせず 弊害(a-1): 検索する際に filter の自動入力が効かない 弊害(a-2): 検索する際に filter が効かない (b) ログ出力側を修正する (c) Remap する (d) String Builder で抽出後、 Rema…

タイトルそのまま Datadog Logs の使用量把握のためのダッシュボードです。 公式ドキュメント上にあります。 Datadog では Integration 設定に併せて自動でダッシュボードが追加されますが、そこに加えてくれても良いのではと思います。 Link Estimated usag…

Datadog Logs へ AWS のログを送る仕組みについて、古い知識のままだったので調べ直したメモ。 AWS から Datadog Logs への送信 Kinesis Firehose destination source タグ Forwarder Lambda function トリガー 転送の除外 source タグ source タグについて …

前置き Fluent Bit で HTTP_Server を有効化することでメトリクスを参照できる機能があります。 (v1.7.0 時点では、Windows は非対応のようです) これを Datadog に流します。 インテグレーションが用意されているのではと思ったのですが、 ログの送信先とし…

Datadog AWSインテグレーション設定にいつの間にか機能追加されていたのでメモ。 ※ 2020/07 現時点ではUIからの参照・更新はサポートされていないようです API Reference | AWS Integration excluded_regions An array of AWS regions to exclude from metri…

Datadog のグラフ作成時に過去情報を参照する関数が用意されています。 hour_before : 1時間前 day_before : 1日前 week_before : 7日前 month_before : 28日前(4週間≒1ヶ月) これらは期間固定なため、2日前とか任意期間での指定はできないものかと調べたと…

以前 Datadog Agent Version 6 で日本語環境でのイベントログ取得を確認したのですが、 検証に誤りがありました。 htnosm.hatenablog.com 再度確認した所、Agent Version 5 同様、 マルチバイトでは動作しませんでした。 Event Viewer Integration Windowsイ…

AWSの監視をCloudWatch以外(SaaS等)で行っている場合に、AWS API のコール数が気になります。 CloudTrail で証跡を保存、解析すれば詳細に分析できると思いますが、諸事情によりその手法が使えなかったので調べてみました。 AWSサービス CloudTrail Event Tr…

Windows 上の Datadog Agent v6 でのログを tail で収集する場合、対象のログファイルは UTF8 である必要があるとのことです。 Log Collection & Integrations Note: If you are using the Windows 6 Agent and trailing files for logs - make sure that th…

以前日本語環境のWindows上で、イベントログ送信がうまく動作しなかったので現状(v6)ではどうなっているのかを確認します。 また、 Logs での連携も追加されているので併せて確認します。 DatadogAgent を Windows10(日本語環境) へインストール - vague mem…

Datadog Logs のアップデートがありました。 大きく以下3つの機能が追加されています。 Introducing Logging without Limits Limitless Logs ログ取り込みとインデキシング(フィルタリング)の分離 Archive Logs ストレージ転送 Live Tail リアルタイムログス…

結構前からアナウンスはされているのですが、すぐ忘れるので残しておきます。 Datadog だけでは無いですが、Slack側仕様変更により、Slack上の個別ユーザへメンションする際の指定の仕方が変わります。 A lingering farewell to the username | Slack The un…

Datadog Monitor の定義を Terraform で管理できます。 Provider: Datadog が、Datadog側がJSONで定義されており少々書き難いのと、 Monitor毎に同じ記載を繰り返す部分(通知本文や通知先)をテンプレート化できないものかと思い、考えてみた結果をメモ。 Ter…

ありそうでなかったので作成。(見つけられないだけでしょうか) github.com 雑記 Datadog AWS Integration 設定(IAM Role) - Qiita の焼き直しです。 権限部分をコピペして作れるようにしたかったのと、更新箇所把握しておきたかったのでリポジトリ化。ほぼ自…

AWS の SNS トピックを Datadog で直接サブスクライブできます。 ドキュメント通りなんですが、どのような感じで通知されるのかを残しておきます。 公式 AWS SNS 一応受信用 Email を払い出して受信することもできます。 過去記事 AWS RDSイベント通知を受け…

Datadog でのログ管理機能(パブリックベータ版)での検証履歴です。 今回は[Logs]->[Explorer]、[Logs]->[Pipelines] 部分を確認します。 また、公開当時は無かった Log Monitor (通知機能) も実装されていますので併せて試します。 目次 目次 Explorer Pipel…

Datadog logs(パブリックベータ) を試してみる の続きで、 Datadog でのログ管理機能(パブリックベータ版)での検証履歴です。 htnosm.hatenablog.com 今回はログを送信する側での除外、置換、複数行を確認します。 公式 Log Management 目次 目次 ログ収集設…

ログ管理機能 ( Introducing logs in Datadog ) のリリースが控えていますが、地味にハマったので今更ながら dogstream での注意点を残しておきます。 ちなみにログ管理機能が含まれる予定の Agent version >= 6.0 からはパラメータ自体廃止されているような…

Datadog でのログ管理機能(パブリックベータ版)が発表されました。 Introducing logs in Datadog Datadog Agent もメジャーバージョンアップとなり、色々と変わるようなので正式リリース前に触れてみます。 ベータではありますが、現行環境へすんなり導入で…

今更ながら、初めて Windows へ DatadogAgent をインストールしました。 Linux との違いを中心にメモ。 基本的には公式ドキュメント一読でほぼ事足ります。 Agentの基本的な使用方法 (Windows) 目次 目次 インストール 起動/停止 Datadog Agent Manager Serv…

Datadog Agent でのホスト名はルールに従って決定されます。 Host Naming host名を固定化している場合、datadog.conf 内で明示的に hostname: を指定している場合等には、 指定値が優先されます。 監視対象 AWS EC2インスタンスの instance-id を取得したい…

Ansible の実行結果を Datadog へ連携できます。 Datadog-Ansible Integration Python 2.7 で試しました。 3系だと現状そのままだと Syntax Error となるので、 datadog_callback.py の一部書き換え(修正)が必要です。 Ansible Integration Setup Ansible へ…

Datadog Monitor 通知先の振り分け設定パターンです。 前提 基本形 アラートレベルで振分 タグの値で振分 タグで指定 前提 通知先のインテグレーション設定を済ませておきます。 今回は Slack インテグレーションで試してます。 ちなみに今回は通知先しか設…

Terraform Datadog Provider で利用できるリソースの内、Downtime,Monitor,User がインポートに対応しています。 Downtime,MonitorはそれぞれのID、UserはDatadogアカウントのメールアドレスを指定することでインポートが可能です。 # Downtime terraform im…

Datadog 公式で Terraform を使った管理方法のブログが公開されていました。(多分2017/04/07公開) Managing Datadog with Terraform Datadog Provider は結構前から用意されていたようですが、 触れたことが無かったので、ほぼDatadogブログの内容のままです…