ID:17189さん

Cloud Platform にとってアプリケーションが動く環境はもちろん、そのアプリケーションのアクセスログを分析できる環境を開発者に提供することも大事です。 うちの Cloud Platform は 80 台以上の HAProxy サーバーを用意して、Load Balancer として使っています。Cloud Platform で動いているアプリケーションへのリクエストが全部 HAProxy を経由しているため、HAProxy のアクセスログを収集すれば、全てのアプリケーションへのリクエストを確認できるようになります。 問題は Cloud Platform にとって、一日のリクエストが 30 億以上あります。全てのログを収集することはそんなに難しくないけれど、大量のログを効率的に分析することが大事です。 私が Logstash を使って HAProxy のアクセスログを収集して、リクエスト先ごとにリクエスト数、平均リスポンスタイムなどの情報をまとめて Elasticsearch に投げます。これで元々 30 億以上のデータが百万ぐらいになって、効率的に分析することが可能になりました。また、元々のリクエストも確認できるように、HDFS に保存しておきました。 また、アクセスログをまとめる時、このような問題が発生しました。リクエスト先に ID や UID などの情報が含めて、同じ所へのリクエストがちゃんとまとめていなかった。 例えば、"GET /user/123" と "GET /user/456" が同じリクエスト先にまとめていなかった。Cloud Platform にとっての分析は全般的なものなので、このようなリクエストをまとめる必要があります。 この問題に関して、私がリクエスト先を認識、整理する Logstash Plugin を実装しました。この Plugin がリクエスト先を複数の単語に分けて、各単語が common word かどうかを確認して、common word じゃない単語なら事前に決まった形に変換します。例えば、"GET /user/123" が "GET /user/<number>" に、"GET /item/AAAAAA" が "GET /item/<str>" に変換します。common word は完璧ではないけれど、変換ミスが発生したら、common word の辞書を更新すれば直せます。 このログ収集システムがすでに Cloud Platform に適用されて、秒間リクエスト 3 万以上、一日リクエスト 30 億以上の負荷を耐えて、問題なく作業を実行しています。

Elixir がすごく好きです。 Elixir の勉強を始める時、趣味として Telegram Bot API の Elixir Wrapper を開発しました。 2018 年 3 月現在、ダウンロード数が累積 8000 を、GitHub Star が 150 を突破しました。 https://github.com/zhyu/nadia