fluentd

GKE は何もしなくてもログを Cloud Logging (旧 Stackdriver Logging) に送ってくれて便利なんだけどどうやって送ってるのかな？と思って調べたメモ。なかなか興味深かった。 メトリクスの方も調べてみたが

td-agent-2.3.1-0.el6.x86_64 (v0.12.20) で確認 fluentd の out_file は TimeSlicedOutput を継承して作られており、日別や時間別（ time_slice_format で指定可能）にファイルを出力できるようになっています。 デフォルトで file buffer となっており buffer を flush する際に最終

前からやろうやろうと思ってなかなか手をつけられずにいたのですが、やっと実装しました。 （エラーハンドリングとかまだだけど） Postfix に限らず SMTP サーバーのログは from と to などが

その昔 「 続オレオレFortiAnalyzer」という記事を書きました。 何故か FortiGate のログの時刻フォーマットに余計なスペース(0x20)が入ってて困るという話。 ががが

しばらくぶりに fluentd / td-agent 案件の対応をしたら、いろいろ機能追加されてたりして便利になっていたのでメモ。（2014/7/19 出力フォーマット指定のところに追記しました）

Fluentd + Kibana3 で FortiAnalyzer いらず (更新あり) 続オレオレFortiAnalyzer のさらに続きです。 FortiOS を 4 から 5 にあげたらログのフォーマットというかカラム名(?)が変わったので fluentd

ワイワイ！ この投稿は Fluentd Advent Calendar 2013 の7日目の記事です。 前日 10ヶ月ほど前、私が @tagomoris 氏のブログをコピペしながら人生初 rubygem として fluent-plugin-tail-asis を書いた時、 http://fluentd.org/plugin/ の plugin はまだ2桁だったんじゃない

Fluentd + Kibana3 で FortiAnalyzer いらず の続きです。 前回、CSVフォーマットに対応しようと書いたので対応させてみました。Parser はまたベンチマークとってみたところ、CSVじゃないバ

2013-10-15 ちょいと更新 いや、 FortiAnalyzer 使ったこと無いんでホントに代わりになるかどうか知らないんですけど、お高いんですよ（ね？）今はクラウド版っつーのもあるみたいですね。 で、Fo

fluentd で DB に書き込むために DBI を使って PostgreSQL でも MySQL にでも入れられるようにしてみました。PostgreSQL なら dbd-pg を、MySQL なら dbd-mysql が必要です。 https://github.com/yteraoka/fluent-plugin-dbi type dbi #dsn DBI:Pg:dbname:dbhost dsn DBI:Mysql:dbname:dbhost db_user username db_pass password keys host,time_m,method,uri,protocol,status

Ruby 素人が作ってみました。 https://github.com/yteraoka/fluent-plugin-tail-asis rubygems にも UP したった。 fluent-agent-lite と in_tail in_tail_asis というのを書いた あたりでやってたやつ。 ネーミングルールとか良くわからないけどまぁとりあえず動きましたよと。 fluent-gem

先日、「 fluent-agent-lite と in_tail」というエントリーで fluentd 本体への patch を書いて Pull Request までしたと書いたのだが、Ruby 全然わかんないし、数行足すだけだからそれが楽でそうしたのだ

ログの収集にそろそろ fluentd を使おうかなと思って、fluent-agent-lite だとフォーマットを変えずに集められそうだという事で見てみたのだが、tail -F で読み