vague memory

うろ覚えを無くしていこうともがき苦しむ人の備忘録

AWS

Datadog AWS Integration リージョン除外設定

Datadog AWSインテグレーション設定にいつの間にか機能追加されていたのでメモ。 ※ 2020/07 現時点ではUIからの参照・更新はサポートされていないようです API Reference | AWS Integration excluded_regions An array of AWS regions to exclude from metri…

AWS CloudWatch Dashboard 複製

AWS

簡単にコピーしたかったのです。 同一アカウント マネジメントコンソール上で別名で保存が簡単かと思います。 別アカウント CLI を使います。 jq 使います。 # 複製元のAWSアカウントから DashboardBody を取得 $ aws cloudwatch get-dashboard \ --dashboar…

AWS CloudWatch ECSタスク数

AWS

普通に公式に記載がありますが、当たり前過ぎて逆に辿り着くのに時間を要したのでメモ。 Amazon ECS CloudWatch のメトリクス サービスの RUNNING タスク数 データが常時報告される何かしらのメトリクス(CPUUtilization等)の SampleCount で、 RUNNING状態の…

Ansible で AWS Systems Manager パラメータストア (ついでにシークレットマネージャー) から値を取得

Parameter Store DescribeParameters tasks例 実行結果 Secrets Manager aws_secret GetSecretValue tasks例 実行結果 aws_ssm tasks例 実行結果 __NSPlaceholderDate initialize エラー Parameter Store パラメータストア参照は aws_ssm プラグインで行えま…

AWS API Call 数の取得

AWSの監視をCloudWatch以外(SaaS等)で行っている場合に、AWS API のコール数が気になります。 CloudTrail で証跡を保存、解析すれば詳細に分析できると思いますが、諸事情によりその手法が使えなかったので調べてみました。 AWSサービス CloudTrail Event Tr…

Datadog AWSインテグレーション用 CloudFormationテンプレート

ありそうでなかったので作成。(見つけられないだけでしょうか) github.com 雑記 Datadog AWS Integration 設定(IAM Role) - Qiita の焼き直しです。 権限部分をコピペして作れるようにしたかったのと、更新箇所把握しておきたかったのでリポジトリ化。ほぼ自…

Datadog で AWS SNS を受け取る (RDS/ElastiCacheイベント)

AWS の SNS トピックを Datadog で直接サブスクライブできます。 ドキュメント通りなんですが、どのような感じで通知されるのかを残しておきます。 公式 AWS SNS 一応受信用 Email を払い出して受信することもできます。 過去記事 AWS RDSイベント通知を受け…

AWS Athena 別リージョンS3でのエラー

AWS

QuickSight を使おうとした際に当たったエラーです。 QuickSight は現在東京リージョンでの提供が無いため、オレゴンリージョンから東京リージョンのS3を参照しました。 Athenaでのクエリ実行時に以下エラーメッセージが出力されます。(同一リージョンであれ…

CloudWatch Agent を CLI で EC2 に導入

AWS

先日 CloudWatch Agent が発表されました。 新発表 – Amazon CloudWatch AgentとAWS Systems Managerとの連携 – 統一されたメトリクスとログの収集をLinuxとWindowsに | Amazon Web Services ブログ SSM Agent 導入が前提、となるとマネジメントコンソールす…

collectd-cloudwatch を Amazon Linux 以外に導入してみる

AWS

導入対象EC2 が Amazon Linux の記事はよく見かけますが、他のディストリビューションでの情報があまりなかったため比較を行いました。 新しい collectd の CloudWatch プラグイン | Amazon Web Services ブログ awslabs/collectd-cloudwatch: A collectd pl…

Datadog EC2インスタンスIDの取得

Datadog Agent でのホスト名はルールに従って決定されます。 Host Naming host名を固定化している場合、datadog.conf 内で明示的に hostname: を指定している場合等には、 指定値が優先されます。 監視対象 AWS EC2インスタンスの instance-id を取得したい…

AWS EC2 Systems Manager を S3 へ同期

AWS

System Manager のインベントリデータをS3バケットへ集約できるようになったとのことで試してみました。 Sync Amazon EC2 Systems Manager Inventory Data to Amazon S3 Buckets 公式ドキュメント上にも EC2 -> System Manager -> S3 -> Athena -> QuickSigh…

Mackerel Webhook で Lambda 起動

Mackerel のアップデートで Webhook の API Gateway 対応が発表されました。 mackerel-agent経由でのメタデータ登録に対応しました ほか - Mackerel ブログ #mackerelio Webhook のリクエスト先に API Gateway のエンドポイントを指定できるようになりました…

Datadog Monitor から Webhook で Lambda 起動

前回 Datadog から SNS 経由で Lambda Function を起動を行いました。 Datadog MonitorからSNS経由でLambda起動 - vague memory 別の方法を探してみた所、Webhook Integration が使えそうだったので試してみました。 Datadog-Webhooks Integration 1) API Ga…

Datadog MonitorからSNS経由でLambda起動

Datadog から SNS(Amazon Simple Notification Service) への通知ができるということで、 Datadog → SNS → Lambda → Slack で通知情報に+αで情報付与をしてみます。 題材 Lambda で実行可能な物でしたら何でも良いのですが、常々不便を感じていた CloudFron…

Amazon Inspector CVEルールを試してみる

AWS

AWSのセキュリティ評価サービス Amazon Inspector に触れる機会があったので記録しておこうと思います。 CVE(共通脆弱性識別子)ルールパッケージでの実行結果です。 何をどう検査しているのかという細かな情報は公開されていないようでしたので、パッケージ…

EC2 EBS縮小 (というより CentOS ディスク縮小) の流れ

AWS EC2(Linux) のディスクサイズ縮小を行う機会があったので、備忘として整理します。 復旧や作り直しと同意になるので極力行いたくない作業です。 流れは以下のようになります。 各 Volume、Snapshot には判別しやすい名称を付けておくと混乱しないと思い…

Mackerel事始め AWSインテグレーション タグ絞り込み小ネタ

AWSインテグレーションのタグ絞り込み設定の小ネタです。 適切なタグを付与して使用していれば、いずれも引っ掛かる事は無いと思います。 : を含むタグ CloudFormation でインスタンスを起動した場合や、 Auto Scaling Group 配下のインスタンスに自動的に付…

Mackerel事始め AWSインテグレーション(EC2)

Mackerel の AWS インテグレーションに EC2 が追加されました。 AWS インテグレーションが EC2 に対応しました・mackerel-agent 0.34.0 リリース ほか - Mackerel ブログ #mackerelio とある環境で mackerel-agent のバージョンアップの機会があったので導入…

AWS EC2 インスタンスの復旧(Auto Recovery)設定の落とし穴

AWS

AWS EC2 インスタンスには、 Status Checked Failed 発生時に自動的に復旧を試みる機能があります。 設定自体は正しく行えているように見えるのに、いざ異常発生時に復旧に失敗するケースに当たりました。 Action failed. Encountered error calling EC2 rec…

AWS Lambda で CloudWatch Logs のログ本文をSlack通知(2)

前回 AWS Lambda で CloudWatch Logs のログ本文をSlack通知(1) の続きです。 SNSを介さず、Lambdaから直接Slackへ投稿する方法です。 (2) Stream to AWS Lambda でSlack通知 CloudWatch Logs -> Lambda -> Slack CloudWatch Logs のサブスクリプションを使…

AWS Lambda で CloudWatch Logs のログ本文をSlack通知(1)

CloudWatch Logsを使用したログ監視です。 CloudWatch Logs のメトリックフィルタから Alarm を作成し、SNS メッセージをSlackへ投稿する Blueprint が提供されていますが、 通知されるメッセージだけでは Alarm が発生した事がわかるのみなので、ログ本文を…

Mackerel事始め agent-plugin ELB RDS

agent-pluginを使ってELB、RDSの監視設定を追加していきます。 IAM Policy mackerel-plugin-aws-elb は GetMetricStatistics に加え、ListMetrics も必要とのことです。 cloudwatch:GetMetricStatistics cloudwatch:ListMetrics CLI で IAM User 作成 専用の…

Mackerel事始め agent-plugin EC2関連

agent-pluginを使ってEC2関連の監視設定を追加していきます。 IAM Policy設定 CloudWatch経由の取得のため GetMetricStatistics を IAMrole または IAMuser へ付与します。 cloudwatch:GetMetricStatistics IAM role で設定されていれば access-key-id、secr…

AWS RDS for PostgreSQL 拡張モニタリング

RDSの拡張モニタリング(Enhanced Monitoring)有効化組にPostgreSQLも仲間入りしたようです。 Enhanced Monitoring and option to enforce SSL connections is now available for Amazon RDS for PostgreSQL 日本語にはまだ反映されていませんが、公式ドキュ…

AWS CloudWatchでIOPS確認

AWS

AWSのディスクにはIOPS(1秒あたりの入出力操作)制限があります。 I/O 特性 - Amazon Elastic Compute Cloud Amazon RDS のストレージ - Amazon Relational Database Service CloudWatchで確認する際EC2(EBS)とRDSでメトリクスの単位が異なるので注意が必要か…

AWS Cloudwatch UIアップデート

AWS

いつの間にかCloudWatchのUIが更新されてました。 公式情報は見つけられなかったのですが、気付いたのは3点です。 目盛軸の範囲設定 軸切替方法の変更 系列の表示/非表示切替 目盛軸の範囲設定 縦軸の目盛の範囲を指定できるようになっています。 例: CPU使…

AWS CloudWatch Logs S3へのエクスポートで少々ハマった事

AWS

CloudWatchに Export data to Amazon S3 という CloudWatch Logs で収集したログをS3へエクスポートする機能があります。 使用方法は公式ドキュメントにある通りですが、 実行した際に少々ハマった(面喰らった)ことを記載します。 公式ドキュメントはこちら…

AWS RDSイベント通知を受け取る

追記 よく質問されるので追記。 DatadogにはAWSで発生したイベントを拾ってくれる機能がありますが、RDSのイベントは含まれていません。 投稿時点の話で、現在はRDSイベントもDatadog上で取得できます。 RDSのイベント通知機能としてEvent Subscriptionがあ…

AWS Cloudwatch ダッシュボード登場

AWS

CloudWatchにダッシュボードが追加されました。 これまでグラフを作ってはリンクURLをメモするなどをしていましたが、その煩わしさが解消できるかもと期待しています。 メトリックが50以下で3つのダッシュボードまで無料だそうです。 Amazon Web Services ブ…