AWS API Call 数の取得

AWSの監視をCloudWatch以外(SaaS等)で行っている場合に、AWS API のコール数が気になります。
CloudTrail で証跡を保存、解析すれば詳細に分析できると思いますが、諸事情によりその手法が使えなかったので調べてみました。

---

---

AWSサービス

関連するAWSサービスの概要です。

CloudTrail Event

APIの実行履歴は CloudTrail Event で表示・取得できます。

• How CloudTrail Works - AWS CloudTrail
  • CloudTrail Workflow - AWS CloudTrail

CloudTrail は、作成時に AWS アカウントで有効になります。AWS アカウントでアクティビティが発生した場合、そのアクティビティは CloudTrail イベントに記録されます。

Trail(証跡)が有効である必要はありません。ここでのTrail(証跡)は S3 等への転送を指します。

Trail(証跡)

CloudTrail Event を S3バケットや CloudWatch Logs へ転送する設定が行なえます。

• Logging Data and Management Events for Trails - AWS CloudTrail

Amazon Macie

機械学習によるユーザ動向の分析が行えるサービスです。

• What Is Amazon Macie? - Amazon Macie

データソースとして AWS CloudTrail イベントログを利用できます。上記 Trail(証跡) を使用します。 また、現時点ではバージニアとオレゴンリージョンのみの提供です。

主要なSaaSのAPI実行間隔

AWSの統合機能がある主要な SaaS の API 実行間隔の情報です。

Datadog

• AWS Integration and CloudWatch FAQ – Datadog

We use the CloudWatch monitoring APIs to monitor your AWS resources. Our main use of these APIs is to gather raw metrics data through the GetMetricStatistics endpoint.

By default, we collect AWS metrics every 10 minutes.

デフォルトでは10分間隔で収集します。サポートへの依頼で間隔を変更することができます。

• Using Datadog's AWS Billing Integration to monitor your CloudWatch usage – Datadog

現時点では API コール数を参照する方法は用意されておらず、 AWS Biling インテグレーションを利用し、請求額を参照する事で把握する方法が紹介されています。

Mackerel

• AWSインテグレーション - Mackerel ヘルプ

5分ごとに取得対象となるメトリックの数だけAWSのAPIをコールして値を取得します。

New Relic

• Polling intervals for AWS integrations | New Relic Documentation

By default, the polling interval frequency is set to the maximum. You can change the polling frequency in the configuration settings.

サービス毎に異なり、デフォルトでは 1分 or 5分毎となるようです。[Configure]から設定変更も可能です。

• New AWS API for Cost Savings & Improved Performance - Support: Products & Agents / API - New Relic Explorers Hub

AWS Account Status Dashboard からAPIコール数を参照できるようです。

可視化してみる

New Relic の AWS Account Status Dashboard と同等の物を Datadog で作成してみます。

• GitHub - htnosm/dd-aws-apicall-metrics: Post AWS API Events metrics to Datadog

定期的に CloudTrail Event を収集し、サマリを Datadog のカスタムメトリクスとして登録します。
今回は Datadog AWSインテグレーション用IAMロールを対象とし、Datadog へ送信していますが、仕組み的に応用は効きそうです。

host を aws_account_no として登録しています。

尚、Datadog で Custom Metrics を扱うには有償プランである必要があるようです。

• Pricing | Datadog

留意点

LookupEvents を使用して CloudTrail Event を取得します。

• LookupEvents - AWS CloudTrail

The rate of lookup requests is limited to one per second per account. If this limit is exceeded, a throttling error occurs.

Lookup には1秒に1回の実行制限があります。

Events that occurred during the selected time range will not be available for lookup if CloudTrail logging was not enabled when the events occurred.

logging が有効であることが条件との記載がありますが、確認した限りではTrail(証跡)を有効化していないリージョンでも取得が行えていました。

• How CloudTrail Works - AWS CloudTrail

CloudTrail typically delivers log files within 15 minutes of account activity.

Event が即時反映されないように見えたので、ドキュメントにあるよう、15分前の値を取得しています。

• Logging Amazon CloudWatch API Calls with AWS CloudTrail - Amazon CloudWatch https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/logging_cw_api_calls.html

CloudWatch supports logging the following actions as events in CloudTrail log files:

Trail に出力されるAPIのみが対象になります。 叩かれているであろう GetMetricStatistics 等は残念ながら対象外です。

没案

CloudWatch のカスタムメトリクスとして登録する方法も考えましたが、 リージョン跨いで参照したかったのと、APIコール数参照のためにAPIコール数を増やすのもいかがなものかと思い、止めました。