読者です 読者をやめる 読者になる 読者になる

ぺーぺーSEのブログ

備忘録・メモ用サイト。

ログ収集について(kibana、elasticsearch、logstash、Fluentd、Apache Flume、Splunk)

Kibanaというツールがきっかけでちょいとメモ。

Kibana入門
https://speakerdeck.com/y310/kibanaru-men

これまでもElasticSearchというのが流行ってたりとか
Splunkっていうツールを小耳にはさんだりとかで
「ログ収集・分析」みたいな分野は気になっていた。

Fluentd + ElasticSearch + Kibana

この組合せ、流行ってるみたいね。

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips

fluentd + elasticsearch + Kibanaでログのヴィジュアル化
http://open-groove.net/elasticsearch/fluentd-kibana/

fluentdとElasticsearchとkibanaの組み合わせがとても気に入ったのでメモ
http://inokara.hateblo.jp/entry/2013/09/07/122149

Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法(※1)
http://y-ken.hatenablog.com/entry/fluentd-elasticsearch-kibana-index-partitioning

fluentd + Elasticsearch + Kibanaで始めるログ解析 (アクセス制御編)
http://blog.excale.net/index.php/archives/2291

  1. Fluentd
    • 各サーバからログを投げる
  2. ElasticSearch
    • Fluentdが投げたログをキャッチして溜める
  3. Kibana
    • ElasticSearchに溜まってるログをいい感じに見る

という役割分担。


Fluentd

Ruby製のログ収集(というかログぶん投げ)ツール
プラグインが豊富にあってRDBやNoSQL、HDFS、ElasticSearchにログをぶん投げることができる。
似たのにApache Flumeってのがある。

公式
http://fluentd.org/

柔軟なログ収集を可能にする「fluentd」入門
http://knowledge.sakura.ad.jp/tech/1336/


ElasticSearch

RESTのインターフェースがあってJSON形式でドキュメントを登録・検索・削除できる。
Apache Solrが似てるかな?

公式
http://www.elasticsearch.org/

Elasticsearchを使ってみる
http://qiita.com/reoring/items/c91cca84854ceaca3589

Chef Soloでelasticsearchの環境を作る
http://qiita.com/hongo35/items/32632c72dc3d1bb58021


kibana

ElasticSearchに溜まったログをいい感じに見れるUI。
もともとはlogstashというツールが集めたログを見るツールだったらしい。
現在はlogstashもkibanaもelasticsearch.orgのツール

公式
http://www.elasticsearch.org/overview/kibana


logstash
  1. ログを投げる(logstashのshiperという機能)
    • shiperとindexerの間にはRedisがいる
  2. ログを集める(logstashのindexerという機能)
  3. ログを溜める
    • ここはElasticSearchが担う
  4. 見る(logstashのWebUI機能)
    • ここはkibanaだともっといい感じ?

という機能を提供する。
Splunkとそっくり。

公式
http://www.elasticsearch.org/overview/logstash/

logstash を試す
http://inokara.hateblo.jp/entry/2013/09/08/043331

logstash1.1.1でApacheのログを集めてみる
http://dsp74118.blogspot.jp/2012/09/logstash111apache.html

logstash 1.1.1で複数のサーバからApacheログを収集する
http://dsp74118.blogspot.jp/2012/09/logstash-111apache.html

logstashでなくてFluentdを使うメリットはインデックスの粒度を変更できるところみたい。(※1