AWSのセキュリティ評価サービス Amazon Inspector に触れる機会があったので記録しておこうと思います。 CVE(共通脆弱性識別子)ルールパッケージでの実行結果です。 何をどう検査しているのかという細かな情報は公開されていないようでしたので、パッケージ…

AWS EC2(Linux) のディスクサイズ縮小を行う機会があったので、備忘として整理します。 復旧や作り直しと同意になるので極力行いたくない作業です。 流れは以下のようになります。 各 Volume、Snapshot には判別しやすい名称を付けておくと混乱しないと思い…

Nagios で通知(Notifications)の有効/無効切替を curl で実行します。 _NAGIOS="nagios.example.com" _NAGIOS_USER="nagiosadmin" _NAGIOS_PASS="nagiosadmin" _HOST="localhost" ## 無効化 # Disable notifications for this host curl -s -S http://${_NAG…

AWSインテグレーションのタグ絞り込み設定の小ネタです。 適切なタグを付与して使用していれば、いずれも引っ掛かる事は無いと思います。 : を含むタグ CloudFormation でインスタンスを起動した場合や、 Auto Scaling Group 配下のインスタンスに自動的に付…

mkr v0.11.1 で dashboardsサブコマンドが追加されています。 連続リリース100週目！ダッシュボード生成ツールをリリースしました・ユーザーグループ発足 - Mackerel ブログ #mackerelio 公式に詳細説明があります。 CLIツール mkr を使う - Mackerel ヘルプ…

Mackerel の AWS インテグレーションに EC2 が追加されました。 AWS インテグレーションが EC2 に対応しました・mackerel-agent 0.34.0 リリース ほか - Mackerel ブログ #mackerelio とある環境で mackerel-agent のバージョンアップの機会があったので導入…

AWS EC2 インスタンスには、 Status Checked Failed 発生時に自動的に復旧を試みる機能があります。 設定自体は正しく行えているように見えるのに、いざ異常発生時に復旧に失敗するケースに当たりました。 Action failed. Encountered error calling EC2 rec…

Mackerel の将来予測機能を試してみます。 機能としては式による監視で特定の関数(線形回帰)を使って実現するようです。 将来予測機能による監視・グラフ範囲をURLに反映されるように ほか - Mackerel ブログ #mackerelio 式による監視を行う - Mackerel ヘ…

Mackerelを使用しているとアラート発生後に復旧せずに残り続けるアラートが出てきます。 AWS インテグレーションで CloudWatch 上に値が出力されない物(ELB の ERROR 等、CloudWatch上 0 ではなく、値が無い物)が良く残ります。 Web上から一つずつクリックし…

Mackerel で mkr と WebAPI を使用して poweroff にしたホストを退役します。 今回の判定条件は n日前のメトリクスが無いホストとします。(poweroff 直後のホストは非対象としています) ApiKey/URL/Metricsを設定 検索対象のメトリクスは loadavg5 等必ず存…

Jenkinsを使っていて、複数環境を使い分ける必要が出てきた場合に、 見た目が全部一緒で判り難いので環境別に表示を変えたいと思いました。 Jenkinsの標準機能では存在せず、Simple Theme Plugin を使用するのが定石のようなので、こちらを使用します。 Simp…

ApacheにBASIC認証が掛かっている場合の取得方法です。 ユーザ・パスワードを設定するオプションは無いですが、URLに直接入れ込む形で設定できます。 apache2.conf [plugin.metrics.apache2] command = "/usr/local/bin/mackerel-plugin-apache2 -o <USER>:<PASSWORD>@<HOSTNAME>" type</hostname></password></user>…

Mackerel で mkr を使用した CLI 操作の続きです。 create ホストを作成します。 オプション指定無しだと working で作成されます。 $ mkr create TEST created XXXXXXXXtLu ステータスをメンテナンスとし、ロールを指定した場合 $ mkr create -st maintenan…

Mackerel で mkr を使用した CLI 操作の続きです。 ホスト一覧取得と退役操作を行います。 hosts ホスト一覧を取得します。ホストを対象とする操作を行う際のidを抽出する為に使用します。 オプション オプション ロングオプション 説明 -n --name ホスト名…

Mackerel の CLI 操作を試します。 WebAPIが用意されていますが、APIを簡略化したコマンド mkr があるのでそちらを利用してみます。 CLIツール mkr を使う - Mackerel ヘルプ Go言語によるCLIツール開発とUNIX哲学について - ゆううきブログ 機能 利用頻度の…

前回 AWS Lambda で CloudWatch Logs のログ本文をSlack通知(1) の続きです。 SNSを介さず、Lambdaから直接Slackへ投稿する方法です。 (2) Stream to AWS Lambda でSlack通知 CloudWatch Logs -> Lambda -> Slack CloudWatch Logs のサブスクリプションを使…

CloudWatch Logsを使用したログ監視です。 CloudWatch Logs のメトリックフィルタから Alarm を作成し、SNS メッセージをSlackへ投稿する Blueprint が提供されていますが、 通知されるメッセージだけでは Alarm が発生した事がわかるのみなので、ログ本文を…

退役＝Mackerel上からの削除です。 Web画面上での設定方法がパッと出なかったので流れを書いてみます。 何てことは無いのですが一覧から変更できるものと思っていたので少々彷徨いました。 Web画面からの退役設定 Hosts(ホスト一覧)画面で設定できるのは、Wo…

check-plugin を使ってプロセス監視を行います。 チェック監視項目を追加する - Mackerel ヘルプ プロセス監視をおこなう - Mackerel ヘルプ チェックプラグインの共通設定 notification_interval 再送間隔(分) 未指定＝再送無し 最短30分(30分未満を設定し…

check-plugin を使ってログ監視の色々を確認してみました。 初回登録時 対象ログファイルの先頭から読まれます。 大量通知を避けるため、一度コマンド実行でステートファイル作成後にconfファイル有効化を行った方が安全だと思います。 ログファイルのパーミ…

check-plugin を使ってログ監視を試してみます。公式に詳しい説明があります。 ログ監視をおこなう - Mackerel ヘルプ check-log.conf 必須オプションは対象ファイルと検索文字列です。 [plugin.checks.test-log] command = "/usr/local/bin/check-log --fil…

agent-pluginを使ってELB、RDSの監視設定を追加していきます。 IAM Policy mackerel-plugin-aws-elb は GetMetricStatistics に加え、ListMetrics も必要とのことです。 cloudwatch:GetMetricStatistics cloudwatch:ListMetrics CLI で IAM User 作成 専用の…

agent-pluginを使ってEC2関連の監視設定を追加していきます。 IAM Policy設定 CloudWatch経由の取得のため GetMetricStatistics を IAMrole または IAMuser へ付与します。 cloudwatch:GetMetricStatistics IAM role で設定されていれば access-key-id、secr…

agent-pluginを使ってミドルウェアの監視設定を追加していきます。 confファイルのinclude設定 mackerel-agent.conf のコメント解除や直接追記も可能ですが、 監視対象それぞれで設定ファイルを分けたいので、 include設定を追加します。 $ cd /etc/mackerel…

RDSの拡張モニタリング(Enhanced Monitoring)有効化組にPostgreSQLも仲間入りしたようです。 Enhanced Monitoring and option to enforce SSL connections is now available for Amazon RDS for PostgreSQL 日本語にはまだ反映されていませんが、公式ドキュ…

Mackerel ヘルプ を読み進めながら実装中です。 Mackerel の agent をインストールしただけの状態では、OSの基本メトリクスの収集のみですが、pluginを導入することで追加メトリクスの収集が可能になります。 メトリック仕様 - Mackerel ヘルプ mackerel-age…

Mackerel を触り始めたのでメモ。 Mackerel（マカレル）: 新世代のサーバ管理・監視ツール では定義したサービス、ロール毎のグラフ表示が可能ですが、 標準機能だと切替表示のため一括で表示したい場合はカスタムダッシュボードを使用します。 Metricsを切…

AWSのディスクにはIOPS(1秒あたりの入出力操作)制限があります。 I/O 特性 - Amazon Elastic Compute Cloud Amazon RDS のストレージ - Amazon Relational Database Service CloudWatchで確認する際EC2(EBS)とRDSでメトリクスの単位が異なるので注意が必要か…

Linux起動時の自動ファイルシステムチェックを強制/抑止(スキップ)する方法です。 バージョン・ディストリビューションによっては shutdown コマンドのオプション付与や fastboot コマンドで可能なようですが、CentOS6の場合はオプションが存在しませんでし…

いつの間にかCloudWatchのUIが更新されてました。 公式情報は見つけられなかったのですが、気付いたのは3点です。 目盛軸の範囲設定 軸切替方法の変更 系列の表示/非表示切替 目盛軸の範囲設定 縦軸の目盛の範囲を指定できるようになっています。 例: CPU使…