fluentd
2020
GKE の node はどのようにログを転送しているのか
GCP
Kubernetes
fluentd
GKE は何もしなくてもログを Cloud Logging (旧 Stackdriver Logging) に送ってくれて便利なんだけどどうやって送ってるのかな?と思って調べたメモ。なかなか興味深かった。 メトリクスの方も調べてみたが
2016
fluentd の out_file でファイル数を減らしたいなら append を使う
fluentd
td-agent-2.3.1-0.el6.x86_64 (v0.12.20) で確認 fluentd の out_file は TimeSlicedOutput を継承して作られており、日別や時間別( time_slice_format で指定可能)にファイルを出力できるようになっています。 デフォルトで file buffer となっており buffer を flush する際に最終
2015
FluentdでPostfixのログをつなぎ合わせる
Postfix
redis
Ruby
fluentd
前からやろうやろうと思ってなかなか手をつけられずにいたのですが、やっと実装しました。 (エラーハンドリングとかまだだけど) Postfix に限らず SMTP サーバーのログは from と to などが
FortiGate さんごめんなさい、悪いのは rsyslog でした
FortiGate
fluentd
その昔 「 続オレオレFortiAnalyzer」という記事を書きました。 何故か FortiGate のログの時刻フォーマットに余計なスペース(0x20)が入ってて困るという話。 ががが
2014
fluentd / td-agent がいろいろ便利になってた
fluentd
td-agent
しばらくぶりに fluentd / td-agent 案件の対応をしたら、いろいろ機能追加されてたりして便利になっていたのでメモ。(2014/7/19 出力フォーマット指定のところに追記しました)
オレオレFortiAnalyzerその3
FortiGate
elasticsearch
fluentd
kibana3
Fluentd + Kibana3 で FortiAnalyzer いらず (更新あり) 続オレオレFortiAnalyzer のさらに続きです。 FortiOS を 4 から 5 にあげたらログのフォーマットというかカラム名(?)が変わったので fluentd
2013
逆引き Fluentd plugins (更新あり)
Advent Calendar
fluentd
ワイワイ! この投稿は Fluentd Advent Calendar 2013 の7日目の記事です。 前日 10ヶ月ほど前、私が @tagomoris 氏のブログをコピペしながら人生初 rubygem として fluent-plugin-tail-asis を書いた時、 http://fluentd.org/plugin/ の plugin はまだ2桁だったんじゃない
続オレオレFortiAnalyzer
FortiGate
fluentd
Fluentd + Kibana3 で FortiAnalyzer いらず の続きです。 前回、CSVフォーマットに対応しようと書いたので対応させてみました。Parser はまたベンチマークとってみたところ、CSVじゃないバ
Fluentd + Kibana3 で FortiAnalyzer いらず (更新あり)
FortiGate
fluentd
kibana3
syslog
2013-10-15 ちょいと更新 いや、 FortiAnalyzer 使ったこと無いんでホントに代わりになるかどうか知らないんですけど、お高いんですよ(ね?)今はクラウド版っつーのもあるみたいですね。 で、Fo
fluent-plugin-dbi 書いた
MySQL
PostgreSQL
dbi
fluentd
Ruby
fluentd で DB に書き込むために DBI を使って PostgreSQL でも MySQL にでも入れられるようにしてみました。PostgreSQL なら dbd-pg を、MySQL なら dbd-mysql が必要です。 https://github.com/yteraoka/fluent-plugin-dbi type dbi #dsn DBI:Pg:dbname:dbhost dsn DBI:Mysql:dbname:dbhost db_user username db_pass password keys host,time_m,method,uri,protocol,status
fluent-plugin-tail-asis できた
fluentd
Ruby
Ruby 素人が作ってみました。 https://github.com/yteraoka/fluent-plugin-tail-asis rubygems にも UP したった。 fluent-agent-lite と in_tail in_tail_asis というのを書いた あたりでやってたやつ。 ネーミングルールとか良くわからないけどまぁとりあえず動きましたよと。 fluent-gem
in_tail_asis というのを書いた
fluentd
Ruby
先日、「 fluent-agent-lite と in_tail」というエントリーで fluentd 本体への patch を書いて Pull Request までしたと書いたのだが、Ruby 全然わかんないし、数行足すだけだからそれが楽でそうしたのだ
fluent-agent-lite と in_tail
fluentd
Perl
Ruby
ログの収集にそろそろ fluentd を使おうかなと思って、fluent-agent-lite だとフォーマットを変えずに集められそうだという事で見てみたのだが、tail -F で読み