S3に出力された CloudFront/ELB/ALB/S3 アクセスログを特に加工せずにRDS PostgreSQLへインポート。。。したかったのですができませんでした。 (極力簡単にインポートし、整形・集計はDB側に任せようと思いました。) PostgreSQL ベースである Redshift と RD…

S3に出力された ELB/ALB/S3 アクセスログを特に加工せずにRedshiftへインポート。。。したかったのですができませんでした。 (極力簡単にインポートし、整形・集計はDB側に任せようと思いました。) スペース区切りで且つクォートが必要最低限しか付いていな…

S3に出力されたCloudFrontアクセスログを特に加工せずにRedshiftへインポートします。 (極力簡単にインポートし、整形・集計はDB側に任せようと思いました。) S3->RedshiftへCOPYコマンドで実現可能です。 Amazon S3 からデータをロードする - Amazon Redshi…

2017/02/24 追記 再度仕様変更が入ったようなので追記します。 以下の通り修正されたようです。そのため本記事の内容は一時的な変更となりました。 mackerel-agent経由でのメタデータ登録に対応しました ほか - Mackerel ブログ #mackerelio 2017-01-27の告…