メインコンテンツへスキップ

fluentd

2020

GKE の node はどのようにログを転送しているのか
GCP Kubernetes fluentd
GKE は何もしなくてもログを Cloud Logging (旧 Stackdriver Logging) に送ってくれて便利なんだけどどうやって送ってるのかな?と思って調べたメモ。なかなか興味深かった。 メトリクスの方も調べてみたが

2016

fluentd の out_file でファイル数を減らしたいなら append を使う
fluentd
td-agent-2.3.1-0.el6.x86_64 (v0.12.20) で確認 fluentd の out_file は TimeSlicedOutput を継承して作られており、日別や時間別( time_slice_format で指定可能)にファイルを出力できるようになっています。 デフォルトで file buffer となっており buffer を flush する際に最終

2015

FluentdでPostfixのログをつなぎ合わせる
Postfix redis Ruby fluentd
前からやろうやろうと思ってなかなか手をつけられずにいたのですが、やっと実装しました。 (エラーハンドリングとかまだだけど) Postfix に限らず SMTP サーバーのログは from と to などが
FortiGate さんごめんなさい、悪いのは rsyslog でした
FortiGate fluentd
その昔 「 続オレオレFortiAnalyzer」という記事を書きました。 何故か FortiGate のログの時刻フォーマットに余計なスペース(0x20)が入ってて困るという話。 ががが

2014

fluentd / td-agent がいろいろ便利になってた
fluentd td-agent
しばらくぶりに fluentd / td-agent 案件の対応をしたら、いろいろ機能追加されてたりして便利になっていたのでメモ。(2014/7/19 出力フォーマット指定のところに追記しました)
オレオレFortiAnalyzerその3
FortiGate elasticsearch fluentd kibana3
Fluentd + Kibana3 で FortiAnalyzer いらず (更新あり) 続オレオレFortiAnalyzer のさらに続きです。 FortiOS を 4 から 5 にあげたらログのフォーマットというかカラム名(?)が変わったので fluentd

2013

逆引き Fluentd plugins (更新あり)
Advent Calendar fluentd
ワイワイ! この投稿は Fluentd Advent Calendar 2013 の7日目の記事です。 前日 10ヶ月ほど前、私が @tagomoris 氏のブログをコピペしながら人生初 rubygem として fluent-plugin-tail-asis を書いた時、 http://fluentd.org/plugin/ の plugin はまだ2桁だったんじゃない
続オレオレFortiAnalyzer
FortiGate fluentd
Fluentd + Kibana3 で FortiAnalyzer いらず の続きです。 前回、CSVフォーマットに対応しようと書いたので対応させてみました。Parser はまたベンチマークとってみたところ、CSVじゃないバ
Fluentd + Kibana3 で FortiAnalyzer いらず (更新あり)
FortiGate fluentd kibana3 syslog
2013-10-15 ちょいと更新 いや、 FortiAnalyzer 使ったこと無いんでホントに代わりになるかどうか知らないんですけど、お高いんですよ(ね?)今はクラウド版っつーのもあるみたいですね。 で、Fo
fluent-plugin-dbi 書いた
MySQL PostgreSQL dbi fluentd Ruby
fluentd で DB に書き込むために DBI を使って PostgreSQL でも MySQL にでも入れられるようにしてみました。PostgreSQL なら dbd-pg を、MySQL なら dbd-mysql が必要です。 https://github.com/yteraoka/fluent-plugin-dbi type dbi #dsn DBI:Pg:dbname:dbhost dsn DBI:Mysql:dbname:dbhost db_user username db_pass password keys host,time_m,method,uri,protocol,status
fluent-plugin-tail-asis できた
fluentd Ruby
Ruby 素人が作ってみました。 https://github.com/yteraoka/fluent-plugin-tail-asis rubygems にも UP したった。 fluent-agent-lite と in_tail in_tail_asis というのを書いた あたりでやってたやつ。 ネーミングルールとか良くわからないけどまぁとりあえず動きましたよと。 fluent-gem
in_tail_asis というのを書いた
fluentd Ruby
先日、「 fluent-agent-lite と in_tail」というエントリーで fluentd 本体への patch を書いて Pull Request までしたと書いたのだが、Ruby 全然わかんないし、数行足すだけだからそれが楽でそうしたのだ
fluent-agent-lite と in_tail
fluentd Perl Ruby
ログの収集にそろそろ fluentd を使おうかなと思って、fluent-agent-lite だとフォーマットを変えずに集められそうだという事で見てみたのだが、tail -F で読み