ID:74637さん

AI翻訳のユーザーがどのようなペイン(英文が長すぎると全体の理解に時間がかかる、英文を翻訳AIで作成してもそれが正しいか判断がつかず不安であるなど)を抱えており、それをどのように解消すれば良いかに関してさまざまな仮説が出てきました。そこで共同研究先と協業して翻訳AIとChatGPTを使ってこれらのペインを解消できるかをビジネス的側面、および教育的側面で検証するための実験を行いました。最近行った実験であり、分析はまだ進行しているため、検証結果はまだ実用化されていませんがどのような要約が望まれているか、どのような英文校閲を行えばユーザーの不安感を払拭できるかなど教育的にも翻訳AIというプロダクトの観点でも重要な知見を引き出すことに貢献しています。この実験を行うために私は以下のことを担当しました。 - 実験企画案の作成 - 共同研究先との交渉(倫理的側面や、双方にメリットがあるPJとなるか、実験の実行可能性などの課題に関する確認、社内での調整など) - 社内調整(実験にかかるコストの計算と稟議申請、実験協力者のリソース調達、実験によるアウトカム予測に関するCxO陣との認識合わせなど) - 実験計画 - インタビュー項目・内容の洗い出し - 詳細ドキュメントの作成 - 実験の実施 - 実験データ(アンケートフォーム)の集計 - 分析(因果ダイアグラム+回帰モデル+傾向スコアマッチング)

私が入社した直後にデータ分析基盤が構築され、データ分析が可能な状態になりました。この時、マーケティングや開発部門などの各種施策や機能リリース効果を検証することが目下の課題になり、リーダーとして以下の業務を遂行しました。 これにより、プロダクト・サービスやマーケティング施策のモニタリングや改善が可能となりました。 - 効果検証に必要な課題の整理 - 技術調査 - モデルの作成(因果ダイアグラム+回帰モデル、傾向スコアマッチング、CausalImpact、分割時系列解析) - 分析の自動化 - ダッシュボードやレポートのガイドライン作成 - 関連部署へのレクチャー・アナウンス - 業務委託メンバーへの業務指示・管理

ユーザーの満足度を高めるためにはプロダクトの改善が必要です。そこで、みらい翻訳ではUIUXチームを中心にNPS、およびNPSの理由に関するアンケートを継続的に集計しています。これらを分析することでユーザーが何に満足し、何に不満を抱いているか、またそれらの経時的変化を捉えることができます。そのために現在、NPSコメントを分類して集計・分析するためのモデル・分析パイプラインの開発を行っています。私の担当は以下の通りです。 - NPSコメントの大まかな分類(LDA) - NPSコメントのアノテーションに伴う各種ドキュメント(アノテーション規約、カテゴリ表など)の作成とデータ分析チームへの説明 - アノテーション - BERTのファインチューニング(翻訳精度などカテゴリ×極性) - カテゴリ・極性ごとの集計 - UIUXチームへのヒアリングを通した仮説出し - 統計的因果推論を用いた仮説検証 - 反実仮想機械学習を用いたシミュレーション