【fluentd】ニフティクラウドストレージにログを上げてみた

何番煎じと言われようが関係ないｗ
やってしまったのでメモ程度に残しておきます

cd /usr/local/fluent/
fluent-gem install fluent-plugin-s3
emacs /usr/local/fluent/fluent.conf

<match pattern>
  type s3 ⇒プラグインの名前です（固定）

  aws_key_id YOUR_AWS_KEY_ID ⇒取得したAPIキーを入力してください
  aws_sec_key YOUR_AWS_SECRET/KEY ⇒取得したAPIシークレッキーを入力してください
  s3_bucket YOUR_S3_BUCKET_NAME ⇒バケット名を入力してください
  s3_endpoint ncss.nifty.com ⇒エンドポイント名です（固定）
  path logs/ ⇒バケット直下に置くフォルダです、フォルダがある場合はしてします
  buffer_path /var/log/fluent/s3 ⇒s3に上げる前にテンポラリログを吐くパスです、この場合s3.xxxxというログを吐きます

  time_slice_format %Y%m%d_%H%M%S ⇒ストレージにあげるログのフォーマットを指定します
  time_slice_wait 10m ⇒毎時10分にテンポラリにためたログをストレージにアップロードします、この時にテンポラリは削除されます
  #flush_interval 60s ⇒こちらを指定すると60秒ごとにテンポラリのアップロードと削除が行われます
  utc
</match>

fluentd --config /usr/local/fluent/fluent.conf -vv

上記の設定の場合だとX時10分にクラウドストレージを見るとログがgzに圧縮されたログが出力されているはずです

他にもパラメータをいじることでいろいろな設定変更ができそうです
時間ではなくテンポラリのログサイズをトリガーにしてストレージに送ることもできるみたいです
パラメータの詳細は公式のドキュメントが一番わかりやすいです
http://fluentd.org/doc/plugin.html