ID:16616さん

バックエンドはDjangoとdjango-restframework、フロントエンドはReact.jsとTypeScriptを使ってます。また全文検索や使用単語頻度の集計にAWS Elasticsearchを使っており、Elasticsearchの開発/運用/保守も担っています。

古くなったWebサービスの基盤刷新プロジェクトを立ち上げました。 主にNode.jsとDocumentDBをFastAPIとPostgreSQLへ移行するプロジェクトになります。企画/設計を私主導で行い、現在開発中です。

[概要] グループ会社の Web サイトへの流入向上を目指したアクセスデータ解析を行いました。具体的には、GoogleAnalyticsから得られるアクセス情報やユーザ情報と、Web上に公開されている国が集めた統計情報とを組み合わせた流入予測などを行っていました。 GoogleAnalyticsからは、ユーザー情報として性別、年代、アクセス地域などが得られます。GA(GoogleAnalytics)から得られる情報は表層の部分でしかありません。どのような年齢、性別の人なのか？どこに住んでいる人なのか？といった情報は得られますが、その裏にある何故東京に住んでいる20代女性のアクセスが多いのか？といった、深層に関わってくる情報までは読み取れません。この深層にある情報を、顧客データや外部データと照らし合わせて読み解くことが私がやるべきところになります。 [分析体制] 社内で分析系の知見を有している者が私だけなので、一人ですべてを行っておりました。基本的には、Google Analyticsのダッシュボードより分析を行っておりましたが、外部の統計データとの組み合わせの際には、API経由でアクセスデータを取得し、Pythonを用いて統計的な分析を行っておりました。 [課題に対するアプローチ] 今回のWebサイトでは、ソーラーパネルの販売を行う企業のアクセスデータになります。足掛かりとして、今回は人口統計情報を用いました。人口統計情報には、全国の給与水準や住宅購入数/形態といった情報があります。 ソーラーパネルは高い買い物となるため、給与水準の高い層でないと購入は厳しいです。そこで、アクセス数の多い地域と給与水準の高い地域とを照らすと、見事に相関がありました。また、アクセス数の多い層が30~40代後半に見られたのは、その年代になるとある程度の役職と所帯を持つようになってくるということが、全国の給与水準統計情報から推測できます。 ソーラーパネルは、住居の形態によって、種類が複数あります。そこで、地域によるアクセス数の変動については、地域毎の給与水準と住宅形態(戸建て/アパート,マンション/分譲など)の比率に起因するのではと考え、照らしたところ、相関が見られました。これらの集計/解析は全てPythonで行いました。Pythonのライブラリのnumpyとscipyを使うことで、集計/統計解析が行えるのでとても便利です。 [成果] これらの解析結果を元に、アクションを起こすのが次のステップなのですが、諸事情により、プロジェクトが凍結となってしまい、解析結果を元にしたアクション検証まではできませんでした。 しかしながら、実データと人口統計情報を組み合わせてみることで、詳細なユーザー像を推測することができること、ユーザー像を推測するまでのアプローチといった知見を得ることができたので、次同じような案件が来た際には、よりレベルの高いWebアクセス解析ができると思います。

[概要] オペレーションセンターに蓄積されたテキストデータ (ナレッジ情報)を扱った自然言語解析を行っております。内容としては、新システムにおけるナレッジ情報へのアクセスに対する検索性能向上を目指した研究開発です。 具体的な取り組み内容としては、MeCabやJumanなどを用いて形態素解析したテキストデータを特徴量として文章分類を行う際に、どのような機械学習技術が適切かを検証しました。機械学習ツールとしては、gensimやscikit-learnを用いました。 [研究体制] 社内に自然言語処理に関わる技術を知っているものが私だけなので、技術選定/プログラミング/検証 etc..全部一人で行っております。 [課題] そもそもの問題として、ナレッジ情報が整理されていないという問題があります。そのため、ナレッジ情報の探索が難しい現状です。そこで、機械学習を用いたクラスタリングを行うことで、ナレッジ情報を整理することにしました。 [課題に対するアプローチ] 文書情報のクラスタリングなので、LDAを使った教師なし学習による分類方法と、BoW(Bag of Words)、Doc2Vecで生成したベクトル情報を用いたk-means法による分類方法を今回は検証しました。 今回のナレッジ情報は、整理がされておりませんので、それぞれの文章の属性といったものもありませんので、教師データを作るのに非常に労力を要します。そこで、文章情報をベクトル化することで、そのベクトルを特徴量とした教師なし学習がコストが低いので、教師なし学習としてLDAによる手法と、k-means手法を選びました。 最初は、形態素情報として名詞や動詞だけを特徴量とするデータだけを用いましたが、上手く分類分けができませんでした。改善策として、形態素解析の部分でどのような形態素が抽出されているのかを確認しました。すると、固有名詞表現が上手く抽出できてない、数字列/記号といった特徴として意味を成さない形態素が抽出されていた、といった問題点がありました。また、Doc2Vecに関しては、文脈情報を特徴として学習するので、形態素解析において、名詞や動詞だけに限定するのは間違ったやり方であり、それぞれの形態素の順番も考慮する必要もあるので、それらを修正するというようなことも行いました。 [成果] 成果としては、実用的な結果は得られませんでした。しかし、社内としては自然言語解析は新しい領域への取り組みとなったので、教師なし学習や形態素解析といった新しい技術への知見を残すことができました。 また、今回のような問題設定の場合では、検索システムの導入により解決できる可能性があるので、そちらを最初に行うべきだったというアンチパターンについての知見を残すこともできました。

・人工知能エンジンのパフォーマンス向上のための研究(自然言語処理) 上級研究員の支持のもと、最新論文や技術を調査し、それらの技術が人工知能エンジンに適用可能かどうかの簡易な テストも含めた調査報告を行っていた。 当時の自社プロダクトでは、統計モデルを活用したテキストデータスコアリングシステムによる文書抽出を行っていたので、少ない教師データでもそれなりの精度で動いていました。しかし、それ以上の精度や活用方法の展開を考えると、ディープラーニングを使ったテキストマイニングの導入も検討した方が良いのではと考えました。当時は自社への取引企業も増えていってたので、大量のデータも集まる見込みでしたので、教師データに関しては問題なかったです。 ディープラーニングを扱うフレームワークとしては、Chainerを検討しました。ネットワーク構造を記述するのが非常に分かりやすく、何より国内製ということで選びました。 こちらはプロジェクトの途中で退職しましたので、その後、ディープラーニング技術を活用したかどうかについては把握しておりません。