ID:24038さん

* 言葉は日々生まれているが、リアルタイムに更新される辞書は現世に存在せず、特に自然言語処理の解析に使われる現在のunidicなどの辞書では明らかに不十分である。今回のプロジェクトは、DeepLearningの前処理として、TF-IDF辞書を構築する際に読み込ませるためのunidic辞書を作成した。 * TF-IDF処理を用いたトピックモデルを実装し、Twitterなどから新語と思われる語を抽出するプログラムを実装した。 * 日々クローリングされる大量データに対し、自然言語処理（形態素解析、並びに構文解析）による解析を行い、語彙と思われるものを抽出した。 * プロダクトの企画は先方が行い、システム設計～テストまで全て自分一人で担当していた。Pythonの並列処理を行ってビックデータを解析し、自動的に辞書を更新させる仕組みを約1ヶ月かけて完成させた。

* 某ロボットの会話エンジンにおいて、文章構造を把握するための構文解析パーザーの開発を企画・設計・開発と多岐にわたり、約3年間担当していた。 * 解析や様々な応答モデルを設計、また、PrologとRedisを使って実装した。例えば、1つの応答例として、Aさんが「アメリカに行きたいです」と発話したのち、Bさんが「どこに行きたいの？」と質問すると、「アメリカです」「アメリカに行きたいです」のように応答する不足格応答の仕組みを実現した。 * 形態素解析を補正するツールは、現世に存在しないため、Prologを用いてルールベースの処理を行い、サ変結合、単語結合処理（路面＋電車→路面電車）など、様々な連結ルールを作成し、形態素解析＋αの仕組みを作成した。 * HPSGやDCGの構文解析のモデルをPrologを使って実装した。構文解析により、文章構造をツリー構造で表し、非文かどうかの判断まで高確率でできるモデルを作成した。 * IPAL辞書を用いて文章の意味解析を行うことにより、「アルバイトで食べている」と「お団子を食べている」の同じ「食べる」という動詞でも、意味が異なることを判断できる仕組みを作成した。 * プロジェクトの後半は主にマネジメントを担当。年齢層が高めであったが、誰とでも関係良好に適切な業務指示ができる自信はあり、最大7人のチームをまとめていた。 * テストツールやマルチプロセッサによる解析は主にPythonを使って実施した。