メインコンテンツへスキップ

fluentd

2020


GKE の node はどのようにログを転送しているのか
GCP Kubernetes fluentd
GKE は何もしなくてもログを Cloud Logging (旧 Stackdriver Logging) に送ってくれて便利なんだけどどうやって送ってるのかな?と思って調べたメモ。なかなか興味深かった。 メトリク

2016


fluentd の out_file でファイル数を減らしたいなら append を使う
fluentd
td-agent-2.3.1-0.el6.x86_64 (v0.12.20) で確認 fluentd の out_file は TimeSlicedOutput を継承して作られており、日別や時間別( time_slice_format で指定可能)にファイルを出力できるようになっています。 デフォルトで file buffer となってお

2015


FluentdでPostfixのログをつなぎ合わせる
Postfix redis Ruby fluentd
前からやろうやろうと思ってなかなか手をつけられずにいたのですが、やっと実装しました。 (エラーハンドリングとかまだだけど) Postfix に限らず SMTP サーバー
FortiGate さんごめんなさい、悪いのは rsyslog でした
FortiGate fluentd
その昔 「 続オレオレFortiAnalyzer 」という記事を書きました。 何故か FortiGate のログの時刻フォーマットに余計なスペース(0x20)が入ってて

2014


fluentd / td-agent がいろいろ便利になってた
fluentd td-agent
しばらくぶりに fluentd / td-agent 案件の対応をしたら、いろいろ機能追加されてたりして便利になっていたのでメモ。(2014/7/19 出力フォーマット指定のと
オレオレFortiAnalyzerその3
FortiGate elasticsearch fluentd kibana3
Fluentd + Kibana3 で FortiAnalyzer いらず (更新あり) 続オレオレFortiAnalyzer のさらに続きです。 FortiOS を 4 から 5 にあげたらログのフォーマットというかカラム名(

2013


逆引き Fluentd plugins (更新あり)
Advent Calendar fluentd
ワイワイ! この投稿は Fluentd Advent Calendar 2013 の7日目の記事です。 前日 10ヶ月ほど前、私が @tagomoris 氏のブログをコピペしながら人生初 rubygem として fluent-plugin-tail-asis を書いた時、 http://fluentd.org/plugin/ の plugin はまだ
続オレオレFortiAnalyzer
FortiGate fluentd
Fluentd + Kibana3 で FortiAnalyzer いらず の続きです。 前回、CSVフォーマットに対応しようと書いたので対応させてみました。Parser はまたベンチマークとってみたとこ
Fluentd + Kibana3 で FortiAnalyzer いらず (更新あり)
FortiGate fluentd kibana3 syslog
2013-10-15 ちょいと更新 いや、 FortiAnalyzer 使ったこと無いんでホントに代わりになるかどうか知らないんですけど、お高いんですよ(ね?)今はクラウド版っつーのもあるみ
fluent-plugin-dbi 書いた
MySQL PostgreSQL dbi fluentd Ruby
fluentd で DB に書き込むために DBI を使って PostgreSQL でも MySQL にでも入れられるようにしてみました。PostgreSQL なら dbd-pg を、MySQL なら dbd-mysql が必要です。 https://github.com/yteraoka/fluent-plugin-dbi type dbi
fluent-plugin-tail-asis できた
fluentd Ruby
Ruby 素人が作ってみました。 https://github.com/yteraoka/fluent-plugin-tail-asis rubygems にも UP したった。 fluent-agent-lite と in_tail in_tail_asis というのを書いた あたりでやってたやつ。 ネーミングルールとか良くわからないけどまぁとりあえ
in_tail_asis というのを書いた
fluentd Ruby
先日、「 fluent-agent-lite と in_tail 」というエントリーで fluentd 本体への patch を書いて Pull Request までしたと書いたのだが、Ruby 全然わかんないし、数行足すだけだからそれが楽でそう
fluent-agent-lite と in_tail
fluentd Perl Ruby
ログの収集にそろそろ fluentd を使おうかなと思って、fluent-agent-lite だとフォーマットを変えずに集められそうだという事で見てみたのだ