ID:21605さん

■業務内容 [項目] ・ ベースラインを機械学習で高度化する [概要] ・ベースライン手法の高度化がKPIの改善に寄与することが分かった ・そこで、深層学習を用いたを用いた高度化を実施 ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 1人 [自分の担当分] ・上級管理職への実験企画説明 ・解くべき課題を踏まえた機能高度化 ・アルゴリズム構築 ・プロダクションコード ■備考 ・効果が大きい成果あり ### 詳細 #### なぜ取り組む必要があると考えたか 購入頻度を改善するという動機は「購入頻度を改善する基本的な方向性を確立する」で記載した通りである。本案件の目的は、潜在需要を捕捉するため、商品カテゴリに対する興味関心を推計する手法を高度化することにある。前段における興味関心の推計手法は、過去データに依存した推計方法となっている。すなわち、ユーザが過去に顕在化させた需要を用いており、顕在需要によって推計している。本件では、深層学習を用いて潜在需要を捕捉し、購入頻度（＝ユニーク購入者数×平均購入回数）を改善する事を目的とする #### 何の指標に注力すべきか 前段と同様、購入頻度（＝ユニーク購入者数×平均購入回数）を上昇させること #### どの様に実現したか ##### <u>ターゲティングユーザ③</u> 前段においては、顕在需要により配信できる全ユーザを対象としていた。本案件では、商品カテゴリに対する興味関心がスコアとして推計されており、そのスコアが一定値より高いユーザに配信することとした ##### <u>どの面に配信するか</u> 購買直前のページ（バスケットページ）で興味がある商品カテゴリの販促バナーを表示するとした #### 結果はどうだったか ユニーク購入者数が大幅に増加した。購買系のKPIとして、CVR・Freqも増加した（CVR = ユニーク購入者数 / ユニーク配信者数、Freq = 購入回数 / ユニーク購入者数）。結果、売上が離散的な変化となった #### 学び ##### <u>離散的な変化をもたらす要因</u> 実験前の性能評価として、売上が10~15%程度向上するのではという見立てがあったが、ふたを開けてみると100%のオーダーという離散的な向上が見られた。これに寄与した変数はユニーク購入者数である。ユニーク配信者数は既存手法の方が多いものの、ユニーク購入者数は大幅に違いがあった。ここから、二つの学びがあった。ユニーク購入者数という上位ファネルの数値を改善すると、当たり前ではあるが離散的な変化となる。さらに、既存手法と比べCVRが高かった事から、興味関心と購買に相関がある事も確認できた ##### <u>興味関心推計モデル</u> 本件は深層学習を用いて興味関心を推計しているわけだが、推計されたスコアがゼロのセグメントを作って実験配信した。すると、一定値より高いスコアのユーザに配信したセグメントよりKPIは低いが、既存手法よりもKPIが高いことが分かった。これにより、顧客がまだ認知していない商品を推薦するモデルを開発する動機となった

■業務内容 [項目] ・課題の発見とベースライン構築 [概要] ・なぜとある課題に注目したのか ・注目した課題を具体的項目に落とし込む ・具体的項目に対する打ち手として、ベースラインを構築 ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 1人 [自分の担当分] ・解くべき課題理解と分析 ・上級管理職への実験企画説明 ・アルゴリズム構築 ・プロダクションコード ■備考 社内表彰 ### 詳細 #### なぜ取り組む必要があると考えたか 売上を要因分解すると、ユニーク購入者数×平均購入回数×購入単価となる。これら三つの数字を時系列で見ると、購入回数（＝ユニーク購入者数×平均購入回数）に問題があることが分かった。この様な話は当然と言えるものの、基本に立ち戻ったのは、コロナによる小売バブルをあげる。特に数年かけて得られただろう新規顧客を単年で獲得した事、既存顧客のリテンションも大幅に増加した事を受けて、YoYでみると2022年以降の成長率に問題があるだろうという見込みも、取り組む必要があると考えた理由となる #### 何の指標に注力すべきか LTVに寄与する変数が購入回数であることを定量・定性の観点から主張し、了承された。定量的な観点では、横軸に直近一年の総購入回数・縦軸に直近一年の総購入金額として散布図を描くと、総購入回数が大きいほど総購入金額が増加していく事を確認した。定性面では、購入単価の分散より購入回数の分散が小さいため、相対的に制御し易い変数が購入回数であることを挙げた #### どの様に実現したか ##### <u>ターゲティングユーザ①</u> ユーザをターゲティングする方法として二点を軸に考えた。一点目は全体の直近一年購入回数より少ないかどうか、二点目はある商品カテゴリに興味関心があるかどうかである。一点目の購入回数の考え方について補足する。背景として、平均より購入回数が多いユーザに販促をする必要があるか疑問だった事、全体の購入回数を上げるには平均より購入回数が少ないユーザに販促をした方がインパクトがあるのではないか、という検討があり、この様な設定とした ##### <u>ターゲティングユーザ②</u> ユーザターゲティング①と異なる点は、ターゲティング項目となる。ある商品カテゴリに興味関心があるかどうかであるのみを考えてターゲティングした。ただし、事後的に全体の平均より購入回数が多い・少ないの二軸で配信実績を分析する事とした ##### <u>どの面に配信するか</u> ターゲティングユーザを決めたら、次に決めることは、ユーザにいつ介入するか、何を表示するのかの2点となる。本案件のターゲティングユーザは①・②のいずれも購入直前のユーザ、すなわちマーケティングファネルでいうとボトルファネルのユーザが実験結果にかかわると考えていた（無用な配信を避けるため、購買意欲が低いユーザをターゲティング対象から除外したかったが、購買意欲が数値化されていなかったため、今後の課題とした）。その為、購買直前のページ（バスケットページ）で興味がある商品カテゴリの販促バナーを表示する事とした。 他方、本件で確認したい事は興味関心によってユーザの購買行動を変化させられるかであるため、表示する場所としてランディングページも用意した。ランディングページとバスケットページを用意したのは、両極端のファネル（トップ・ボトルファネル）で表示する事で購買意欲に左右されず、興味関心によってユーザの購買行動を変化させられるかをより正確に計測できると考えたためである ##### <u>商品カテゴリに興味関心があるかどうか</u> 本件でしたい事は、何を表示するかという目的に対し、ユーザが購入する商品カテゴリは興味を持つ商品カテゴリなのかという仮説を検証する事である。ただし、実際に配信するためにはいつ介入するか・何を表示するかも重要であるため、興味を持つ商品カテゴリの推計方法として、機械学習ではなく集計ベースの方法を扱う事とした。もし、この配信方法に問題がなければ、興味関心をもつ商品カテゴリの推計方法を高度化すればよいという考え方で実験を設計した。ちなみに、集計ベースとは、過去ユーザが検索して閲覧した商品カテゴリ等、過去データを縮約して計算できる方法である #### 結果はどうだったか 有意差を確認できた条件は、ターゲティングユーザは②で、かつ興味関心があると判定された商品カテゴリをバスケットページにて販促した時であった #### 学び ##### <u>ターゲティングユーザ</u> 興味関心の推計方法が同じであってもターゲティングユーザ①で有意差を確認できずターゲティングユーザ②で確認できた。①と②の違いは、全体の平均より購入回数が少ないユーザか全ユーザかの違いである。事後的に分析すると、有意差をもたらしたユーザは全体の平均より購入回数が多いユーザによってもたらされており、おおざっぱではあるが、元々購買意欲が高いユーザに配信しないと、販促であっても購入を促す効果が弱いことが分かった ##### <u>いつ介入するか</u> 介入するタイミングは、ランディングページではなくバスケットページでなければ有意差を確認できなかった。これは、ターゲティングユーザと同様、購買意欲が高いと予想されるボトムファネルにいるユーザに介入するべきで、そのタイミングに閲覧しているページがバスケットページだったということだと理解した ##### <u>興味関心と購買の関係</u> 興味関心と購買の関係を計測するために、興味関心を推計して商品カテゴリを選定するかランダムに選定するかという実験をするべきという意見があったものの、興味関心と購買に一定の相関関係がある事は定性的に認められるため、省略した。ただし、次点で興味関心を推計する方法を深層学習で高度化した際、大幅はKPI上昇が見られたことから、興味関心と購買に一定の相関関係が存在すると思われる

■業務内容 [項目] ・dmenuニュースにおけるニュース推薦 [概要] ・教師あり学習による検索クエリとニュース記事のスコアリング ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 3人 ・外部協力者様 3人 [自分の担当分] ・機能の方向性提案 ・アルゴリズム構築 ・プロダクションコード ■備考 ・管理職の方が稼ぎ方を考え、私は推薦ロジックを作った ・outbrain等の競合と遜色ないCTR ### 詳細 #### なぜ取り組む必要があると考えたか NTT DOCOMOに期待される役割として、docomoデータを活用したマーケティングと、マーケティングを通じたユーザからのフィードバック（dmenu内の媒体やEコマースにおけるユーザ行動など）をNTT DOCOMOにレポーティングする事が一つ挙げられる。本取り組みはその一環で、ドコモが保有しているユーザ属性データ・サイト内行動・検索クエリなどの情報をどの様にマネタイズできるかに主眼が置かれた取り組みとなる #### 何の指標に注力すべきか ユーザが閲覧したニュース記事数となる。マネタイズ手法は広告で、ニュース記事内に広告配信枠を設けた。売上は「ユーザが閲覧したニュース記事数×広告がクリックされる割合×広告単価」となるため、広告配信枠を提供する事が役務である事を踏まえると、ユーザが閲覧したニュース記事数が注力指標となる。よって、ユーザのセッション内閲覧記事数を増やす必要があり、推薦システムのCTR（＝閲覧数/配信数）が重要となる #### どの様に実現したか ユーザが自ら顕在化させたニーズをdmenuでの検索クエリと考えた。他方、顕在化していない（潜在需要）ニーズも考えらる。前者については（ユーザプロファイル、検索クエリ、ニュース記事）を入力として０～１のスコアを返す機械学習器を実装。後者については、簡易的ではあるが、前者によって推薦・閲覧された記事のクリック実績の集計ランキングを用いた。よって、後者についてはパーソナライズされておらず、全体の人気ランキングとなる #### 結果はどうだったか D2Cはdmenuに対し、ニュース配信システムを提供するため、競合が存在する。競合のoutbrainと同等のCTRであった #### 学び ##### <u>顕在推薦システム</u> 直近の検索クエリやニュース記事のみが重要ではなかった点が興味深かった。本案件の顕在推薦システムに対する入力は（ユーザプロファイル、検索クエリ、ニュース記事）である。検索クエリ・ニュース記事については、新古という時間概念が存在する。直観的には検索クエリ・ニュース記事ともに直近のものが重要そうだが、特にストックとなるニュース記事が推薦できるかどうかが重要だった ##### <u>潜在推薦システム</u> 検索クエリがユーザの情報ニーズに対する多様性を表現していると思われる。少し長くなるが理由を述べる。顕在推薦システムでランキングを集計したデータソースは2つあった。1つは顕在推薦システムにより発生したクリックデータ(データA)で、もう一つは新しく公開された記事のクリックデータの過去〇日分を抽出したクリックデータ(データB)となる。ランキングとしては、後者を使うより前者を使った方がCTRが高かった。データAが検索起点のクリックデータである事も一因だが、推薦記事の多様性が要因だと考えている。この多様性とは、データA・B配信した結果のクリック数の分布をみると、データBは特定の記事に偏るのに対し、データAは多様な記事になっており、裾野が広い冪分布になっていた #### <u>潜在推薦システムの展望</u> 上記データBのクリックフィードバックを使った協調フィルタリング（CF）が次に行う潜在推薦システム改善となる。潜在推薦システムでの学びに記述した通り、多様な記事を推薦する事がセッション内閲覧記事数を増やすことに寄与することが予想されるため、アイテムコールドスタートの設定でCFロジックを考える必要がある

■業務内容 [項目] ・dmenuにおける検索連動型広告のCTR予測アルゴリズム構築 ・solorを用いた検索システムリプレース [概要] ・ポジションバイアス除去を用いた教師あり学習による検索クエリと広告在庫のスコアリング ・N-bestと固有表現辞書を用いた、分かち書きの際の検索漏れ・ノイズトレードオフ解消 ■規模 / 役割 [プロジェクト要員] ・上級管理職 1人 ・管理職 2人 ・メンバー 3人 [自分の担当分] ・上級管理職への説明 ・開発機能の方向性提案 ・アルゴリズム構築 ・プロダクションコード ■備考 ・元々あった案件を技術者として取り組んだ ・dmenuにおける検索連動型広告のCTRを27.63%改善 ・MapReduce ### 詳細 #### なぜ取り組む必要があると考えたか D2Cの検索連動型広告が広告代理店に人気がないという状況がある。他方、システムのコストダウンから、広告配信システムを自社開発するプロジェクトが既に動いていたため、広告CTR予測アルゴリズムも開発する事となった ### 何の指標に注力すべきか 検索連動型広告における配信した広告のCTR ### どの様に実現したか #### <u>CTRとCPCトレードオフについて</u> 広告配信においてCPCを重視すると、消費者金融・住宅・車などの単価が高い商材が広告として選ばれやすい一方で、ユーザが求めている情報ではない事が多いためCTRが低下するという事案が起こる。本案件でも同様で、CTR・CPC、どちらを優先するかという議題になり、CTRを優先することになった。これは、そもそも広告主が少ない事から検索クエリの入札が起こりにくい状況であった事、CTRはCPCの先行指標である事を踏まえて決定した #### <u>検索エンジン（solr）での実装</u> 広告配信をするために、システムは（ユーザID、検索クエリ、その他コンテキスト情報）を入力値として、（ユーザID、配信する広告）を返す必要がある。典型的な検索エンジンの問題で、広告が検索エンジンにおける文書で、入力が検索クエリと考えればよい。ここでいう文書は広告主が表示したい広告で（タイトル、要約内容、入稿キーワード、マッチタイプなど）を指す。 さて、検索エンジンが文書をインデクシングする際、日本語検索エンジン固有の問題として、分かち書きの精度を挙げる。日本語の場合、文字区切りが不明瞭なため、クエリと文書をマッチングする際、分かち書きの精度が十分でないと検索漏れが起こり、広告主が広告を露出する機会を失う。媒体としても広告主間の入札オークションが活性化されない（＝広告主のデプス）ため、収益性が低下してしまう。ただし、検索漏れを防ごうとすると分かち書きが細かくなり易く、検索結果にユーザの検索意図を反映されない結果となる事が多い。そこで、固有表現を考慮したN-bestという日本語分かち書き手法を用いて、広告主のデプスと検索漏れのトレードオフに対応した #### <u>広告主のデプスの検証</u> CTR予測アルゴリズムを入れ替える際、分かち書きの手法が変更される。その際、N-bestと呼ばれる手法は、分かち書きの精度をシステム管理者がある程度制御できる手法ではあるが、広告主のデプスが売上の強い影響をもたらすことから、検索エンジンのみを構築して、実データをセットした際、広告主のデプスがどの様な値になるかの検証を行った #### <u>ポジションバイアス</u> （ユーザプロファイル、検索クエリ、広告クリエイティブ）を入力として、０～1のスコアを返す機械学習器を作ることが目的で、配信結果が既にあるとする。問題となることは、表示される広告の位置がユーザの目に留まりやすい場所とそうでない場所があるため、ユーザが認知する広告にバイアスが存在する事で、一般的にポジションバイアスと呼ばれる。典型的には、表示位置が画面の中央にあるほど認知されやすく、画面の下にあるほど認知されにくい。この問題を確率モデルで対処する方法もあるが、本学習ではヒューリスティックな方法で対処した #### <u>機械学習器</u> （ユーザプロファイル、検索クエリ、広告クリエイティブ）を入力として、０～1のスコアを返す機械学習器を構築した。機械学習器はNNでないが、線形な特徴量を非線形な特徴量に変換した後、線形学習器で予測したものとなる。前処理パートでは、テキスト情報を入力すると、ユーザの意図を反映したスコアを返す前処理器があり、そのスコアをLexical featuresとして使った。その他、Historical FeatureやDynamics Featureも用いた ### 結果はどうだったか 平均でCTRは27.63%改善した。CTRの最⼤改善率は47.94%となった ### 学び #### <u>クリエイティブ品質改善が継続的に行われる状況が重要</u> 本PJで最も重要だったのが、広告代理店によるクリエイティブ改善だった。クリエイティブ改善が学習器を通じて反映されたため、広告代理店は高いCPCで入札せずともターゲットユーザにリーチできるようになった。この影響がとても強く、CTRの最⼤改善率は47.94%となった。すると、D2Cの検索連動型広告の利用率が上がり、結果としてCPCも上昇した。すなわち、CTRはCPCの先行指数であることが確認された #### <u>情報検索とシステム構築</u> 検索エンジンという、自然言語処理において分かりやすいアプリケーションにふれ、CTR改善という学術的な内容で成果を挙げられた事だけでなく、広告主のデプスやCTRはCPCの先行指数であるという実務的な問題についても考察できた事がよかった

■業務内容 [項目] ・検索連動型広告における自社媒体営業の拡大 [概要] ・コンバージョン数最大化を売りに自身が広告代理店への営業 ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 1人 [自分の担当分] ・アルゴリズム構築 ・営業 ■備考 ・技術を先に開発し、応用先を探した案件 ・営業をしたグループではなく、先方の部門単位で受注 ### 詳細 #### なぜ取り組む必要があると考えたか D2Cが抱える問題として、①パフォーマンス広告を売る標準的な方法がない②ユーザと広告のマッチングスコアを計算する数学モデルがない、という点があった。②が原因で、ユーザにパーソナライズされた広告を配信する事が難しいため、広告代理店の立場からすると魅力あるユーザ（＝ドコモユーザ）は多いものの、広告商品に魅力を感じていない状況だった。そこで、マッチングスコアを計算する数学モデルではないものの、検索クエリの意図を数値化するモデルを開発し、検索連動広告を売る方法を模索する事とした #### 何の指標に注力すべきか 何の指標に注力すべきか #### どの様に実現したか ##### <u>数理モデル</u> 検索クエリを訓練データとして、検索クエリ（形態素解析で標準化されている）をクラスタリングするアルゴリズムである。モデルは生成モデルを用いた。なお、形態素解析で標準化された検索クエリはクラスタリングされるだけでなく、検索意図が数値化される ##### <u>販売余地</u> 数理モデルを用いて、検索連動広告の中からマネタイズできるコマーシャルクエリがどの程度あるかを推計すると、大幅な販売余地があることも分かり、意味ある取り組みである事を確認した ##### <u>広告代理店への営業</u> 「検索クエリの意図が数値化された」・「コマーシャルクエリが多いため大幅な販売余地がある」といった話は広告代理店の方からすると初耳であったため、営業部の方ではなく、私と上長の二人で、広告代理店へ営業することにした。 提案をする中で、広告代理店の方が気にしている事は、広告主が求めている結果指標（CV数・CPA）をいかに達成するか、その数値を達成するために広告代理店の媒体調達費・人件費をいかに抑えるかであることを理解した。従って、CV数がどの程度取得できるかを推計したり、代理店のコストを抑えるツールを提供する事を提案し、大きな受注となった ##### <u>NTTドコモヘの営業</u> 広告代理店への営業が成功したものの、営業部での広がりが見えなかったため、所属部署内でNTTドコモに対する検索連動広告の営業を実施した。今回の提案では運用もD2C内で完結する点で代理店営業と異なっている。検索連動広告を運用する上では、どの入稿キーワードをいくらで入札するかが重要となる。パフォーマンス広告では、最終成果指標を最大化しつつ、何らかの制約条件が付帯する。例えば、予算制約条件下でのCV数最大である。運用指標を整理すると、Impression・TargetCPA・TargetCVR・TargetBudgetを所与としCTRとCPCを可変変数と捉えると、CTR×CPC^2 <= 一定値となる事に気づいた。CTRを固定値にするため、一定期間のデータで固定値とし、入札する最大CPCを算出して運用した #### 結果はどうだったか 広告代理店への営業については新規受注で終わってしまったものの、NTTドコモへについては継続的な受注となった #### 学び ##### <u>ビジネス</u> 初めて行った営業活動を通じて、顧客にとってメリットがあることを、顧客が望んでいるタイミングで提示できると提案が通りやすい事に気づいた ##### <u>googleに対する一考察</u> googleは検索連動型広告市場を寡占している。それゆえ広告主の出稿コストが高くなり易いが、最終成果指標、特に購買ユーザや購買数を多く得られるため、広告主がgoogleを利用せざるを得ない状況だと感じた。だからこそ、dmenuでの検索連動型広告のCPCが安く、ある程度購買数を確保できると説得できたため、新規受注を獲得できたともいえる。 ちなみに営業活動をした当時、googleが公開している決算情報からクリック数が継続的に上昇していることを発見した。これは間接的に広告のCTRが上がっていることを示しており、寡占していようとも、広告単価を挙げる企業努力をしている事に気づかされた。同時に、CTRがCPCの先行指標である事も気づいた ##### <u>検索連動型広告の運用方法</u> CTR×CPC^2 <= 一定値　となる事を利用して、パフォーマンス広告運用においては最大CPCをいかに高めるかが重要になると述べた。ここでは、CTR・CVRを高めるために、広告クリエイティブやランディングページを工夫する事はゆうまでもないが、それ以外の気づいた方法を述べる。 一般に、テールキーワードは広告主間の競争が小さく、ヘッドキーワードになるほどキーワードがポピュラーになるため広告主間の競争が激しくなる。検索連動型広告では、キーワードが入札オークションにかけられるため、広告主数は少ない方が、出稿コストを抑制できる。さらに、テールキーワードの方が具体的なキーワードであるため、顧客獲得効率が高い傾向にある。すなわち、テールキーワードの方が獲得単価が安く、顧客獲得効率も高いこととなる。ただし、ヘッドキーワードと比べてキーワード数が少ないため、顧客獲得数が低いことが問題となる。 もし、多くのテールキーワードを出稿できれば、低い獲得コストにより余った予算をヘッドキーワードに出稿すれば、ヘッドキーワードでの入札競争に有利に働くのでは、という思惑を考えはしないだろうか。我々は実際にその様な運用を行い、NTTドコモへについては継続的な受注を達成した