vague memory

うろ覚えを無くしていこうともがき苦しむ人の備忘録

AWS CloudWatch Dashboard 複製

簡単にコピーしたかったのです。

同一アカウント

マネジメントコンソール上で別名で保存が簡単かと思います。

f:id:htnosm:20190811141000p:plainf:id:htnosm:20190811141008p:plain

別アカウント

CLI を使います。 jq 使います。

# 複製元のAWSアカウントから DashboardBody を取得

$ aws cloudwatch get-dashboard \
--dashboard-name "sample-dashboard" \
--query 'DashboardBody' > sample-dashboard.json


# 複製先のAWSアカウントに対して、取得した JSON でダッシュボード作成

$ aws cloudwatch put-dashboard \
--dashboard-name "sample-dashboard-copy" \
--dashboard-body "$(jq -r . sample-dashboard.json)"

{
    "DashboardValidationMessages": []
}

jq が無い環境では自力で JSON 書式を調整します。
Text Widget で改行使っている等がある場合はその辺りも考慮必要です。 (下記例は考慮していません) 複製してから修正すれば良い訳ですが。

# sed 例
$ aws cloudwatch put-dashboard \
--dashboard-name "sample-dashboard-copy" \
--dashboard-body "$(sed -e 's/\\"/"/g' -e 's/^"//' -e 's/"$//' sample-dashboard.json)"

おまけでワンライナー

$ aws cloudwatch put-dashboard \
--dashboard-name "sample-dashboard-copy" \
--dashboard-body "$(aws cloudwatch get-dashboard \
  --dashboard-name "sample-dashboard" \
  --query 'DashboardBody' | jq -r . )"

dashboard-name を同一名にしてしまうと上書きされるので注意です。

AWS CloudWatch ECSタスク数

普通に公式に記載がありますが、当たり前過ぎて逆に辿り着くのに時間を要したのでメモ。

データが常時報告される何かしらのメトリクス(CPUUtilization等)の SampleCount で、 RUNNING状態のタスク数のみではありますが、簡単に参照できます。 合計(SUM(METRICS()))すればCluster単位でも出せます。

データポイントの数なので、 Period は 1 Minute です。 (保持期間より過去に遡る場合は、延ばした Period 分で除算すれば算出可能)

ECS (Fargate) のタスク数推移を見たかったわけですが、 サードパーティ製監視サービスの統合機能だと、 Running Task だったり DesiredCount だったり、そのものズバリの名前でメトリクスが用意されているので CloudWatchでも同様のメトリクスがあるものと勝手に思い込んでました。

Ansible で AWS Systems Manager パラメータストア (ついでにシークレットマネージャー) から値を取得

Parameter Store

パラメータストア参照は aws_ssm プラグインで行えます。 version 2.5 から実装されているようです。

Requirements 記載の通り、 botocore,boto3 が必要になります。インストールされていない状態だと下記エラーとなります。

FAILED! => {"msg": "An unhandled exception occurred while running the lookup plugin 'aws_ssm'. Error was a <class 'ansible.errors.AnsibleError'>, original message: botocore and boto3 are required for aws_ssm lookup."}

DescribeParameters

# ap-northeast-1
+---------------+--------------------+----------------+
|     KeyId     |       Name         |     Type       |
+---------------+--------------------+----------------+
|  alias/aws/ssm|  an1-securestring  |  SecureString  |
|  None         |  an1-string        |  String        |
|  None         |  an1-stringlist    |  StringList    |
+---------------+--------------------+----------------+

# us-west-2
+---------------+--------------------+----------------+
|     KeyId     |       Name         |     Type       |
+---------------+--------------------+----------------+
|  alias/aws/ssm|  uw2-securestring  |  SecureString  |
|  None         |  uw2-string        |  String        |
|  None         |  uw2-stringlist    |  StringList    |
+---------------+--------------------+----------------+

tasks例

存在しないパラメータはエラーにならず空文字で返却されるため、値チェックを入れた方が良さそうです。

  pre_tasks:
    - name: 'set ssm parameter store values'
      set_fact:
        an1:
          string: "{{ lookup('aws_ssm', 'an1-string') }}"
          securestring: "{{ lookup('aws_ssm', 'an1-securestring') }}"
          stringlist: "{{ lookup('aws_ssm', 'an1-stringlist') }}"
          not_exist: "{{ lookup('aws_ssm', 'dummy') }}"
        uw2:
          string: "{{ lookup('aws_ssm', 'uw2-string', region='us-west-2') }}"
          securestring: "{{ lookup('aws_ssm', 'uw2-securestring', region='us-west-2') }}"
          stringlist: "{{ lookup('aws_ssm', 'uw2-stringlist', region='us-west-2') }}"
          not_exist: "{{ lookup('aws_ssm', 'dummy') }}"

    - name: 'check ssm parameter store values'
      debug: msg="check variable {{ item }}"
      failed_when: '{{ item }} == ""'
      ignore_errors: yes
      with_items:
        - "an1.string"
        - "an1.securestring"
        - "an1.stringlist"
        - "an1.not_exist"
        - "uw2.string"
        - "uw2.securestring"
        - "uw2.stringlist"
        - "uw2.not_exist"

  tasks:
    - name: 'output ssm parameter store values'
      debug: var="{{ item }}"
      with_items:
        - "an1.string"
        - "an1.securestring"
        - "an1.stringlist"
        - "an1.not_exist"
        - "uw2.string"
        - "uw2.securestring"
        - "uw2.stringlist"
        - "uw2.not_exist"

実行結果

TASK [set ssm parameter store values] ***************************************************
ok: [test-instance]

TASK [check ssm parameter store values] *************************************************
 [WARNING]: when statements should not include jinja2 templating delimiters such as {{
}} or {% %}. Found: {{ item }} == ""

ok: [test-instance] => (item=an1.string) => {
    "msg": "check variable an1.string"
}
ok: [test-instance] => (item=an1.securestring) => {
    "msg": "check variable an1.securestring"
}
ok: [test-instance] => (item=an1.stringlist) => {
    "msg": "check variable an1.stringlist"
}
failed: [test-instance] (item=an1.not_exist) => {
    "msg": "check variable an1.not_exist"
}
ok: [test-instance] => (item=uw2.string) => {
    "msg": "check variable uw2.string"
}
ok: [test-instance] => (item=uw2.securestring) => {
    "msg": "check variable uw2.securestring"
}
ok: [test-instance] => (item=uw2.stringlist) => {
    "msg": "check variable uw2.stringlist"
}
failed: [test-instance] (item=uw2.not_exist) => {
    "msg": "check variable uw2.not_exist"
}
fatal: [test-instance]: FAILED! => {"msg": "All items completed"}
...ignoring

TASK [output ssm parameter store values] ************************************************
ok: [test-instance] => (item=an1.string) => {
    "an1.string": "Tokyo文字列",
    "item": "an1.string"
}
ok: [test-instance] => (item=an1.securestring) => {
    "an1.securestring": "Tokyo secure文字列",
    "item": "an1.securestring"
}
ok: [test-instance] => (item=an1.stringlist) => {
    "an1.stringlist": "Tokyo リスト1,Tokyo リスト2,Tokyo リスト3",
    "item": "an1.stringlist"
}
ok: [test-instance] => (item=an1.not_exist) => {
    "an1.not_exist": "",
    "item": "an1.not_exist"
}
ok: [test-instance] => (item=uw2.string) => {
    "item": "uw2.string",
    "uw2.string": "Oregon 文字列"
}
ok: [test-instance] => (item=uw2.securestring) => {
    "item": "uw2.securestring",
    "uw2.securestring": "Oregon secure文字列"
}
ok: [test-instance] => (item=uw2.stringlist) => {
    "item": "uw2.stringlist",
    "uw2.stringlist": "Oregon リスト1,Oregon リスト2,Oregon リスト3"
}
ok: [test-instance] => (item=uw2.not_exist) => {
    "item": "uw2.not_exist",
    "uw2.not_exist": ""
}

Secrets Manager

aws_secret プラグインを使う方法と、aws_ssm 経由で取得する方法の2パターンが利用できそうです。

aws_secret

シークレットマネージャー参照は aws_secret プラグインで行えます。 version 2.8 (2019-05-16) から追加されました。

Requirements 記載の通り、 botocore,boto3 が必要になります。インストールされていない状態だと下記エラーとなります。

FAILED! => {"msg": "The lookup aws_secret requires boto3 and botocore."}

近い内に修正されると思いますが、region指定部分で不具合があります。

FAILED! => {"msg": "An unhandled exception occurred while running the lookup plugin 'aws_secret'. Error was a <type 'exceptions.KeyError'>, original message: 'Requested entry (plugin_type: lookup plugin: aws_secret setting: region ) was not defined in configuration.'"}

PRされている修正を反映すると、取得できました。

  • ansible/plugins/lookup/aws_secret.py
@@ -14,6 +14,7 @@
   - botocore>=1.10.0
 extends_documentation_fragment:
   - aws_credentials
+  - aws_region
 short_description: Look up secrets stored in AWS Secrets Manager.
 description:
   - Look up secrets stored in AWS Secrets Manager provided the caller

GetSecretValue

+------------------+----------------------------------+
|    Name          |        SecretString              |
+------------------+----------------------------------+
|  dev/test_secret |  {"dev/test_secret":"testtest"}  |
+------------------+----------------------------------+

tasks例

存在しないシークレットの指定はエラーとなります。

FAILED! => {"msg": "An unhandled exception occurred while running the lookup plugin 'aws_secret'. Error was a <class 'ansible.errors.AnsibleError'>, original message: Failed to retrieve secret: ResourceNotFoundException(u'An error occurred (ResourceNotFoundException) when calling the GetSecretValue operation: Secrets Manager can\\u2019t find the specified secret.',)"}
  pre_tasks:
    - name: 'set secrets'
      set_fact:
        an1:
          secret1: "{{ lookup('aws_secret', 'dev/test_secret') }}"
  tasks:
    - name: 'output secrets'
      debug: var="{{ item }}"
      with_items:
        - "an1.secret1"
        - "an1.not_exist"

実行結果

TASK [set secrets] **********************************************************************
ok: [test-instance]

TASK [output secrets] *******************************************************************
ok: [test-instance] => (item=an1.secret1) => {
    "an1.secret1": {
        "dev/test_secret": "testtest"
    },
    "ansible_loop_var": "item",
    "item": "an1.secret1"
}

aws_ssm

制限事項がいくつかありますが、SSM 経由でシークレットマネージャの参照が可能ですので、同様に取得できます。

tasks例

予約パス /aws/reference/secretsmanager/ を含めて指定します。

  pre_tasks:
    - name: 'set secrets using ssm parameter store'
      set_fact:
        an1:
          secret: "{{ lookup('aws_ssm', '/aws/reference/secretsmanager/dev/test_secret') }}"
          not_exist: "{{ lookup('aws_ssm', '/aws/reference/secretsmanager/dummy') }}"
  tasks:
    - name: 'output secrets'
      debug: var="{{ item }}"
      with_items:
        - "an1.secret"
        - "an1.not_exist"

実行結果

TASK [set secrets using ssm parameter store] ********************************************
ok: [test-instance]

TASK [output secrets] *******************************************************************
ok: [test-instance] => (item=an1.secret) => {
    "an1.secret": {
        "dev/test_secret": "testtest"
    },
    "ansible_loop_var": "item",
    "item": "an1.secret"
}
ok: [test-instance] => (item=an1.not_exist) => {
    "an1.not_exist": "",
    "ansible_loop_var": "item",
    "item": "an1.not_exist"
}

__NSPlaceholderDate initialize エラー

Mac OS Mojave (10.14.x) で playbook を実行した際に以下のようなエラーが発生しました。

+[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called.
+[__NSPlaceholderDate initialize] may have been in progress in another thread when fork() was called. We cannot safely call it or ignore it in the fork() child process. Crashing instead. Set a breakpoint on objc_initializeAfterForkError to debug.

以下の環境変数を設定することで回避可能です。

export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

High Sierra (10.13.x) からの仕様変更により発生するようです。

Redash REDASH_GOOGLE_APPS_DOMAIN はもう無い

(最新の)公式読みましょう。

To enable automatic user creation who belong to a specific domain name, you can add this domain (or more) in the setting page:

Redash では Google OAuth 認証が利用できますが、 特定のドメインのみ許可する設定は管理画面上で行います。

[Settings] -> [Settings] -> "Allowed Google Apps Domains" f:id:htnosm:20190502031819p:plain


導入に当たり、参考にした情報が古かったようで、 REDASH_GOOGLE_APPS_DOMAIN を使用(紹介)しているパターンが結構多かったです。 反映されないと小一時間悩みました。
既に廃止されています。

Windows版Squid導入あれやこれや

Windows Server 2016 へ Squid を導入します。 (※ プロキシ設定は触れません。)



Squid について

f:id:htnosm:20190119174746p:plain

コンパイルすることでSOCKSの対応もできそうな感じです。(未確認)

4.10 Does Squid support Socks?
We would like to use Squid, but we need it to use socks to connect to the world outside our firewall.

No changes are necessary to use Squid with socks5. Simply add the usual -Dbind=SOCKSbind etc., to the compile line and -lsocks to the link line.

インストールなど

インストール

ダウンロードした squid.msi でインストール。迷う所はありません。各種設定ファイルは C:\Squid\etc\squid\ に置かれます。

インストールが完了すると、デスクトップ上にアイコンが作成されます。

f:id:htnosm:20190119174847p:plain

  • Squid Server Tray
    • サービスの起動停止、設定ファイルへのリンクを選択できる簡易ツール

f:id:htnosm:20190119174908p:plain

サービスではなく、コマンドでの実行も可能です。

C:\Squid\bin>squid.exe -h
Usage: squid [-cdhvzCFNRVYX] [-n name] [-s | -l facility] [-f config-file] [-[au] port] [-k signal]
       -a port   Specify HTTP port number (default: 3128).
       -d level  Write debugging to stderr also.
       -f file   Use given config-file instead of
                 /etc/squid/squid.conf
       -h        Print help message.
       -k reconfigure|rotate|shutdown|restart|interrupt|kill|debug|check|parse
                 Parse configuration file, then send signal to
                 running copy (except -k parse) and exit.
       -n name   Specify service name to use for service operations
                 default is: squid.
       -s | -l facility
                 Enable logging to syslog.
       -u port   Specify ICP port number (default: 3130), disable with 0.
       -v        Print version.
       -z        Create missing swap directories and then exit.
       -C        Do not catch fatal signals.
       -D        OBSOLETE. Scheduled for removal.
       -F        Don't serve any requests until store is rebuilt.
       -N        No daemon mode.
       -R        Do not set REUSEADDR on port.
       -S        Double-check swap during rebuild.
       -X        Force full debugging.
       -Y        Only return UDP_HIT or UDP_MISS_NOFETCH during fast reload.

サービスは Squid for Windows という名前で作成されます。自動起動も有効化された状態です。

f:id:htnosm:20190119173903p:plain

ファイアウォール設定

squid 自体での接続元制限設定が行なえますが、それとは別にファイアウォール設定の必要があります。 Squid Cache Server ルールが作成されているので、適宜設定します。

f:id:htnosm:20190119173859p:plain

ログローテーション

ログファイルが C:\Squid\var\log\squid に作成されます。 ログローテーションはコマンド実行で行います。

C:\squid\bin> squid -k rotate

デフォルト10世代(ファイル)です。保存数を変更したい場合は設定ファイルに追記します。

logfile_rotate 10

タスクスケジューラ

Squid 固有というわけではないですが、ログローテーションの定期実行のため、スケジュール実行設定を行います。

C:\>schtasks /create /tn logrotate_squid /tr "C:\Squid\bin\squid.exe -k rotate" /sc weekly /ST 00:00 /rl highest /F /NP
SUCCESS: The scheduled task "logrotate_squid" has successfully been created.

f:id:htnosm:20190119174115p:plain

タスクスケジューラの履歴(ログ)

最近のWindowsはタスクスケジューラの履歴取得がデフォルトで無効のようでした。必要に応じて有効化します。

C:\>wevtutil set-log Microsoft-Windows-TaskScheduler/Operational /enabled:true

履歴の実体はイベントビューアーなので、詳細設定(ログ保持量等)はそちらで行います。

  • [Applications and Services Logs] -> [Microsoft] -> [Windows] -> [TaskScheduler] -> [Operational]

f:id:htnosm:20190119175251p:plain

Macで HTTP Proxy 経由のSSH

macOS からWindows を経由して SSH する機会があったため、調査した内容を残しておきます。
Web上で色々情報が見つかったのですが、現在では古い情報も混ざっているため自分用に整理した内容です。

f:id:htnosm:20190115014841j:plain



要件

macOS -> win_proxy(Windows) -> web(Linux)

上記のように直接接続が許可されていない、win_proxy(WindowsProxyサーバ)の背後のweb(Linuxサーバ)に対し、 macOSからSSH接続を行います。

HTTP CONNECT メソッドで接続を確立しトンネルすることで SSH での接続が可能になります。
環境は以下の通りです。

結果

Nmap付属のncatを使用すると最も環境に依存せずに実現可能と思います。

--proxy-type オプションで "http" を指定します。

Specify proxy type ("http" or "socks4" or "socks5")

$ ssh -o ProxyCommand='ncat --proxy-type http --proxy win_proxy:3128 %h %p' -i ~/.ssh/id_rsa ubuntu@web

# ssh config
Host    web
        Hostname        web
        User            ubuntu
        IdentityFile    ~/.ssh/id_rsa
        ProxyCommand ncat --proxy-type http --proxy win_proxy:3128 %h %p
        ServerAliveInterval 10

Linuxでのncコマンド

-X オプションで "connect" を指定します。

Supported protocols are “4” (SOCKS v.4), “5” (SOCKS v.5) and “connect” (HTTPS proxy).
If the protocol is not specified, SOCKS version 5 is used.

ssh ProxyCommand='nc -X connect -x win_proxy:3128 %h %p' -i ~/.ssh/id_rsa ubuntu@web

# ssh config
Host    web
        Hostname        web
        User            ubuntu
        IdentityFile    ~/.ssh/id_rsa
        ProxyCommand nc -X connect -x win_proxy:3128 %h %p
        ServerAliveInterval 10

Macでのncコマンド

macOS 標準搭載のncコマンドでは接続エラーを解消できずでした。

nc: Proxy error: "HTTP/1.1 200 Connection established" 
ssh_exchange_identification: Connection closed by remote host 

間にLinux等を挟む事で無理やり繋ぐ事は可能です。

ssh ProxyCommand='ssh bastion_linux nc --proxy-type http --proxy win_proxy:3128 %h %p' -i ~/.ssh/id_rsa ubuntu@web

# ssh_config
Host    bastion_linux
        Hostname    bastion_linux
        User        hoge

Host    web
        Hostname        web
        User            ubuntu
        IdentityFile    ~/.ssh/id_rsa
        ProxyCommand ssh bastion_linux nc --proxy-type http --proxy win_proxy:3128 %h %p
        ServerAliveInterval 10

調査

以下メモレベルですが、上記Nmap付属のncat使用に至った経緯です。
無駄に長いので折り畳みます。

続きを読む

Datadog win32_event_log (v6 日本語環境) 訂正

以前 Datadog Agent Version 6 で日本語環境でのイベントログ取得を確認したのですが、 検証に誤りがありました。

htnosm.hatenablog.com

再度確認した所、Agent Version 5 同様、 マルチバイトでは動作しませんでした。

Event Viewer Integration

WindowsイベントログをDatadogへ連携するインテグレーションが用意されていますが、 現時点では日本語環境ではエラーレベルでの絞り込みが行なえません。

カスタムチェック

version 6でも 5 同様のカスタムチェックを作成することで動作が確認できました。

win32_event_log.py から win32_event_log_ja.py を作成します。

  • win32_event_log.py
C:\Program Files\Datadog\Datadog Agent\embedded\Lib\site-packages\datadog_checks\win32_event_log\win32_event_log.py
  • win32_event_log_ja(差分) v6対応版
--- win32_event_log.py
+++ win32_event_log_ja.py
@@ -1,3 +1,12 @@
+#!/usr/bin/python
+# -*- coding: cp932 -*-
+'''
+日本語環境用イベントログ監視(v6)
+'''
+import sys
+reload(sys)
+sys.setdefaultencoding('cp932')
+
 # (C) Datadog, Inc. 2010-2017
 # All rights reserved
 # Licensed under Simplified BSD License (see LICENSE)
@@ -96,6 +105,18 @@
         if ltypes:
             query['Type'] = []
             for ltype in ltypes:
+                if ltype == 'Critical':
+                    ltype = '重大'
+                elif ltype == 'Error':
+                    ltype = 'エラー'
+                elif ltype == 'Warning':
+                    ltype = '警告'
+                elif ltype == 'Information':
+                    ltype = '情報'
+                elif ltype == 'Audit Success':
+                    ltype = '成功の監査'
+                elif ltype == 'Audit Failure':
+                    ltype = '失敗の監査'
                 query['Type'].append(('=', ltype))
         if source_names:
             query['SourceName'] = []
@@ -233,9 +255,11 @@
     def _alert_type(self):
         event_type = self.event['Type']
         # Convert to a Datadog alert type
-        if event_type == 'Warning':
+        if event_type == '警告':
             return 'warning'
-        elif event_type == 'Error':
+        elif event_type == '重大':
+            return 'error'
+        elif event_type == 'エラー':
             return 'error'
         return 'info'

win32_event_log_ja.py を checks.d、win32_event_log_ja.yaml(中身はwin32_event_log.yamlと同じ) を conf.d に格納して使用します。

C:\PROGRAMDATA\DATADOG
├─checks.d
│      win32_event_log_ja.py
├─conf.d
│  ├─win32_event_log_ja.d
│  │      conf.yaml

実行結果例

f:id:htnosm:20190111044426p:plain f:id:htnosm:20190111043855p:plain

システムアカウントの言語設定

尚、ログインユーザの言語設定が日本語でも、 システムアカウントの言語設定を英語としておけば、 そのまま win32_event_log を利用できます。

  • [コントロールパネル] -> [地域] -> [管理] -> [設定のコピー]

f:id:htnosm:20190111044155p:plain

ようこそ画面の欄がシステムアカウント設定も含むようです。