ブログカスタマイズの利用状況を調べてみたら想像を遥かに超えていた

こんにちは。

何年か前に、はてなブログ向けに「カテゴリを階層化するカスタマイズ」を作成しました。
blog.wackwack.net

いまだにコメントいただくこともあり、大変ありがたいことです。

で、ふとこんなことを考えました。

「このカスタマイズ、どれくらい導入されているんだろう。」

このカスタマイズはレンタルサーバー上でWebサーバーを起動させ、静的なファイル(css、js)を配信するだけの非常にシンプルな構成で提供しています。

試しにWebサーバのアクセスログを見てみると、なかなかの勢いでログが出力されています。

「手動で確認するのもしんどいな.....」と思い、今回『Elasticsearch』という製品を使ってログの収集・可視化をしてみました！

そこで、私は自分の想像を遥かに超えるカスタマイズの利用状況を目のあたりにしました。

Elasticsearchでログを可視化

『Elasticsearch』とはオランダに本社を置くElastic社が提供するオープンソースソフトウェアのことです。
www.elastic.co

なお「ログの可視化」のためには、正確にはElastic社が提供する『Logstah』『Elasticsearch』『Kibana』の3つの製品を利用します。これらは全て無料で利用できます。

Logstash

サーバーに蓄積されるログファイルを監視して、Elasticsearchに送りつけます。

Elasticsearch

検索エンジンと呼ばれる、指定された条件に一致するデータを検索してくるプログラムです。Logstatshから受け取った情報を蓄積して、ユーザーからのリクエストに応じて抽出結果を返します。

Kibana

Elasticsearchへのリクエストや結果の表示をGUIで行うためのWebアプリケーションです。Kibanaを使うことでElasticsearchの利用が劇的に簡単になります。

まとめるとこんな仕組みになります。

カスタマイズの利用状況をチェック

ということでレンタルサーバー上に『Logstash』『Elasticsearch』『Kibana』を導入してKibanaにアクセスすると、ただのログがイケてる感じにビジュアライズされます。ちなみにこの表示内容は2018年4月5日の15分ごとのアクセス数**です。

そしてここから一日あたりの具体的な利用状況を確認していきます。今回は2018年4月5日の1日分のデータを集計します。

これにはKibanaの強力な機能のひとつであるVisualizeを使います。線グラフやヒストグラムなど、様々なグラフでログの内容を可視化することができます。

一日のリクエスト数は20万回以上！！

まず一日あたりの総アクセス数をチェックしました。まぁこれは利用ブログの閲覧数に依るので、私のカスタマイズの成果ではないんですけどね。

先ほどの15分値を1日単位で集計して、4月3日～5日の期間で線グラフにしてみました。（4月3日はデータが欠けているので不完全）

なんと、

4月5日のリクエスト数は20万回以上！！

私のブログの数十倍のアクセスがあるようです。この数字をブログのPVということで水増ししようすごい！！

導入ブログ数は約550！？

次に「どれくらいのブログで使われているのか」を確認します。

具体的な方法としてはアクセスログに残る参照元を示す値referrerを使います。ただしreferrerは個別の記事単位のURLが設定されているため、ここからドメイン部分を抽出します。

Elasticsearchではスクリプトを使うことで、保存されたデータを整形して抽出することができます。

この抽出結果にdomainと名付けました。KibanaのVisualizeにあるデータテーブルを使ってドメインの一覧を出力してみます。

すると、1ページ10件で合計55ページ。つまり、

10 × 55 ＝ 550のブログで利用いただいていることになります。

す、すごい！いいとこ30、40くらいだと思っていました。

無駄に円グラフにしてみたり。

利用いただいている方々、ありがとうございます！！

今後もよろしくおねがいします

レンタルサーバーを動かすだけでもお金がかかるので、

「自前で提供するのは失敗したかなー」

と、正直思っていました。例えばGitHubを使えば無料で提供することもできます。

www.tam-tam.co.jp

しかし今回、私の想像以上の利用実態を知ることができて何かのやる気がアップしました！！これは自分でアクセスログを採取できる環境でなければ難しかったと思います。

なお今回このような形でログの収集・解析を行いましたが、そのデータを何かに流用する、他者に開示するといったことは一切行いませんので、ご安心ください。

ということで読者様も、たまたま当ブログを訪れてくれた方々も、今後ともよろしくおねがいします！！

はてなブログ Perfect GuideBook

データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化]