こんにちは。
何年か前に、はてなブログ向けに「カテゴリを階層化するカスタマイズ」を作成しました。
blog.wackwack.net
いまだにコメントいただくこともあり、大変ありがたいことです。
で、ふとこんなことを考えました。
「このカスタマイズ、どれくらい導入されているんだろう。」
このカスタマイズはレンタルサーバー上でWebサーバーを起動させ、静的なファイル(css、js)を配信するだけの非常にシンプルな構成で提供しています。
試しにWebサーバのアクセスログを見てみると、なかなかの勢いでログが出力されています。
「手動で確認するのもしんどいな.....」と思い、今回『Elasticsearch』という製品を使ってログの収集・可視化をしてみました!
そこで、私は自分の想像を遥かに超えるカスタマイズの利用状況を目のあたりにしました。
Elasticsearchでログを可視化
『Elasticsearch』とはオランダに本社を置くElastic社が提供するオープンソースソフトウェアのことです。
www.elastic.co
なお「ログの可視化」のためには、正確にはElastic社が提供する『Logstah』『Elasticsearch』『Kibana』の3つの製品を利用します。これらは全て無料で利用できます。
Logstash
サーバーに蓄積されるログファイルを監視して、Elasticsearchに送りつけます。
Elasticsearch
検索エンジンと呼ばれる、指定された条件に一致するデータを検索してくるプログラムです。Logstatshから受け取った情報を蓄積して、ユーザーからのリクエストに応じて抽出結果を返します。
Kibana
Elasticsearchへのリクエストや結果の表示をGUIで行うためのWebアプリケーションです。Kibanaを使うことでElasticsearchの利用が劇的に簡単になります。
まとめるとこんな仕組みになります。
カスタマイズの利用状況をチェック
ということでレンタルサーバー上に『Logstash』『Elasticsearch』『Kibana』を導入してKibanaにアクセスすると、ただのログがイケてる感じにビジュアライズされます。ちなみにこの表示内容は2018年4月5日の15分ごとのアクセス数**です。
そしてここから一日あたりの具体的な利用状況を確認していきます。今回は2018年4月5日の1日分のデータを集計します。
これにはKibanaの強力な機能のひとつであるVisualizeを使います。線グラフやヒストグラムなど、様々なグラフでログの内容を可視化することができます。
一日のリクエスト数は20万回以上!!
まず一日あたりの総アクセス数をチェックしました。まぁこれは利用ブログの閲覧数に依るので、私のカスタマイズの成果ではないんですけどね。
先ほどの15分値を1日単位で集計して、4月3日~5日の期間で線グラフにしてみました。(4月3日はデータが欠けているので不完全)
なんと、
私のブログの数十倍のアクセスがあるようです。この数字をブログのPVということで水増ししようすごい!!
導入ブログ数は約550!?
次に「どれくらいのブログで使われているのか」を確認します。
具体的な方法としてはアクセスログに残る参照元を示す値referrer
を使います。ただしreferrer
は個別の記事単位のURLが設定されているため、ここからドメイン部分を抽出します。
Elasticsearchではスクリプトを使うことで、保存されたデータを整形して抽出することができます。
この抽出結果にdomain
と名付けました。KibanaのVisualizeにあるデータテーブルを使ってドメインの一覧を出力してみます。
すると、1ページ10件で合計55ページ。つまり、
す、すごい!いいとこ30、40くらいだと思っていました。
無駄に円グラフにしてみたり。
今後もよろしくおねがいします
レンタルサーバーを動かすだけでもお金がかかるので、
「自前で提供するのは失敗したかなー」
と、正直思っていました。例えばGitHubを使えば無料で提供することもできます。
しかし今回、私の想像以上の利用実態を知ることができて何かのやる気がアップしました!!これは自分でアクセスログを採取できる環境でなければ難しかったと思います。
なお今回このような形でログの収集・解析を行いましたが、そのデータを何かに流用する、他者に開示するといったことは一切行いませんので、ご安心ください。
ということで読者様も、たまたま当ブログを訪れてくれた方々も、今後ともよろしくおねがいします!!
- 作者: JOE AOTO
- 出版社/メーカー: ソーテック社
- 発売日: 2016/07/22
- メディア: 単行本
- この商品を含むブログ (1件) を見る
データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化]
- 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介
- 出版社/メーカー: 技術評論社
- 発売日: 2017/09/21
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (2件) を見る