ID:21605さん

■業務内容 [項目] ・ ベースラインを機械学習で高度化する [概要] ・ベースライン手法の高度化がKPIの改善に寄与することが分かった ・そこで、深層学習を用いたを用いた高度化を実施 ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 1人 [自分の担当分] ・上級管理職への実験企画説明 ・解くべき課題を踏まえた機能高度化 ・アルゴリズム構築 ・プロダクションコード ■備考 ・効果が大きい成果あり ### 詳細 #### なぜ取り組む必要があると考えたか 購入頻度を改善するという動機は「購入頻度を改善する基本的な方向性を確立する」で記載した通りである。本案件の目的は、潜在需要を捕捉するため、商品カテゴリに対する興味関心を推計する手法を高度化することにある。前段における興味関心の推計手法は、過去データに依存した推計方法となっている。すなわち、ユーザが過去に顕在化させた需要を用いており、顕在需要によって推計している。本件では、深層学習を用いて潜在需要を捕捉し、購入頻度（＝ユニーク購入者数×平均購入回数）を改善する事を目的とする #### 何の指標に注力すべきか 前段と同様、購入頻度（＝ユニーク購入者数×平均購入回数）を上昇させること #### どの様に実現したか ##### <u>ターゲティングユーザ③</u> 前段においては、顕在需要により配信できる全ユーザを対象としていた。本案件では、商品カテゴリに対する興味関心がスコアとして推計されており、そのスコアが一定値より高いユーザに配信することとした ##### <u>どの面に配信するか</u> 購買直前のページ（バスケットページ）で興味がある商品カテゴリの販促バナーを表示するとした #### 結果はどうだったか ユニーク購入者数が大幅に増加した。購買系のKPIとして、CVR・Freqも増加した（CVR = ユニーク購入者数 / ユニーク配信者数、Freq = 購入回数 / ユニーク購入者数）。結果、売上が離散的な変化となった #### 結論/学び ##### <u>学び</u> 実験前の性能評価として、売上が10~15%程度向上するのではという見立てがあったが、ふたを開けてみると100%のオーダーという離散的な向上が見られた。これに寄与した変数はユニーク購入者数である。ユニーク配信者数は既存手法の方が多いものの、ユニーク購入者数は大幅に違いがあった。ここから、二つの学びがあった。ユニーク購入者数という上位ファネルの数値を改善すると、当たり前ではあるが離散的な変化となる。さらに、既存手法と比べCVRが高かった事から、興味関心と購買に相関がある事も確認できた ##### <u>興味関心推計モデル</u> 本件は深層学習を用いて興味関心を推計しているわけだが、推計されたスコアがゼロのセグメントを作って実験配信した。すると、一定値より高いスコアのユーザに配信したセグメントよりKPIは低いが、既存手法よりもKPIが高いことが分かった。これにより、顧客がまだ認知していない商品を推薦するモデルを開発する動機となった

■業務内容 [項目] ・課題の発見とベースライン構築 [概要] ・なぜとある課題に注目したのか ・注目した課題を具体的項目に落とし込む ・具体的項目に対する打ち手として、ベースラインを構築 ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 1人 [自分の担当分] ・解くべき課題理解と分析 ・上級管理職への実験企画説明 ・アルゴリズム構築 ・プロダクションコード ■備考 社内表彰 ### 詳細 #### なぜ取り組む必要があると考えたか 売上を要因分解すると、ユニーク購入者数×平均購入回数×購入単価となる。これら三つの数字を時系列で見ると、購入回数（＝ユニーク購入者数×平均購入回数）に問題があることが分かった。この様な話は当然と言えるものの、基本に立ち戻ったのは、コロナによる小売バブルをあげる。特に数年かけて得られただろう新規顧客を単年で獲得した事、既存顧客のリテンションも大幅に増加した事を受けて、YoYでみると2022年以降の成長率に問題があるだろうという見込みも、取り組む必要があると考えた理由となる #### 何の指標に注力すべきか LTVに寄与する変数が購入回数であることを定量・定性の観点から主張し、了承された。定量的な観点では、横軸に直近一年の総購入回数・縦軸に直近一年の総購入金額として散布図を描くと、総購入回数が大きいほど総購入金額が増加していく事を確認した。定性面では、購入単価の分散より購入回数の分散が小さいため、相対的に制御し易い変数が購入回数であることを挙げた #### どの様に実現したか ##### <u>ターゲティングユーザ①</u> ユーザをターゲティングする方法として二点を軸に考えた。一点目は全体の直近一年購入回数より少ないかどうか、二点目はある商品カテゴリに興味関心があるかどうかである。一点目の購入回数の考え方について補足する。背景として、平均より購入回数が多いユーザに販促をする必要があるか疑問だった事、全体の購入回数を上げるには平均より購入回数が少ないユーザに販促をした方がインパクトがあるのではないか、という検討があり、この様な設定とした ##### <u>ターゲティングユーザ②</u> ユーザターゲティング①と異なる点は、ターゲティング項目となる。ある商品カテゴリに興味関心があるかどうかであるのみを考えてターゲティングした。ただし、事後的に全体の平均より購入回数が多い・少ないの二軸で配信実績を分析する事とした ##### <u>どの面に配信するか</u> ターゲティングユーザを決めたら、次に決めることは、ユーザにいつ介入するか、何を表示するのかの2点となる。本案件のターゲティングユーザは①・②のいずれも購入直前のユーザ、すなわちマーケティングファネルでいうとボトルファネルのユーザが実験結果にかかわると考えていた（無用な配信を避けるため、購買意欲が低いユーザをターゲティング対象から除外したかったが、購買意欲が数値化されていなかったため、今後の課題とした）。その為、購買直前のページ（バスケットページ）で興味がある商品カテゴリの販促バナーを表示する事とした。 他方、本件で確認したい事は興味関心によってユーザの購買行動を変化させられるかであるため、表示する場所としてランディングページも用意した。ランディングページとバスケットページを用意したのは、両極端のファネル（トップ・ボトルファネル）で表示する事で購買意欲に左右されず、興味関心によってユーザの購買行動を変化させられるかをより正確に計測できると考えたためである ##### <u>商品カテゴリに興味関心があるかどうか</u> 本件でしたい事は、何を表示するかという目的に対し、ユーザが購入する商品カテゴリは興味を持つ商品カテゴリなのかという仮説を検証する事である。ただし、実際に配信するためにはいつ介入するか・何を表示するかも重要であるため、興味を持つ商品カテゴリの推計方法として、機械学習ではなく集計ベースの方法を扱う事とした。もし、この配信方法に問題がなければ、興味関心をもつ商品カテゴリの推計方法を高度化すればよいという考え方で実験を設計した。ちなみに、集計ベースとは、過去ユーザが検索して閲覧した商品カテゴリ等、過去データを縮約して計算できる方法である #### 結果はどうだったか 有意差を確認できた条件は、ターゲティングユーザは②で、かつ興味関心があると判定された商品カテゴリをバスケットページにて販促した時であった #### 結論/学び ##### <u>ターゲティングユーザ</u> 興味関心の推計方法が同じであってもターゲティングユーザ①で有意差を確認できずターゲティングユーザ②で確認できた。①と②の違いは、全体の平均より購入回数が少ないユーザか全ユーザかの違いである。事後的に分析すると、有意差をもたらしたユーザは全体の平均より購入回数が多いユーザによってもたらされており、おおざっぱではあるが、元々購買意欲が高いユーザに配信しないと、販促であっても購入を促す効果が弱いことが分かった ##### <u>いつ介入するか</u> 介入するタイミングは、ランディングページではなくバスケットページでなければ有意差を確認できなかった。これは、ターゲティングユーザと同様、購買意欲が高いと予想されるボトムファネルにいるユーザに介入するべきで、そのタイミングに閲覧しているページがバスケットページだったということだと理解した ##### <u>興味関心と購買の関係</u> 興味関心と購買の関係を計測するために、興味関心を推計して商品カテゴリを選定するかランダムに選定するかという実験をするべきという意見があったものの、興味関心と購買に一定の相関関係がある事は定性的に認められるため、省略した。ただし、次点で興味関心を推計する方法を深層学習で高度化した際、大幅はKPI上昇が見られたことから、興味関心と購買に一定の相関関係が存在すると思われる

■業務内容 [項目] ・dmenuニュースにおけるニュース推薦 [概要] ・教師あり学習による検索クエリとニュース記事のスコアリング ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 3人 ・外部協力者様 3人 [自分の担当分] ・機能の方向性提案 ・アルゴリズム構築 ・プロダクションコード ■備考 ・管理職の方が稼ぎ方を考え、私は推薦ロジックを作った ・outbrain等の競合と遜色ないCTR ### Recommendation Project - <u>初めに</u> ユーザが特定の出版社のWebサイトにアクセスしたときに、ニュース記事の推奨システムを構築しました。 ユーザがおすすめの記事をクリックした場合、記事内に広告がいくつか配信されます。 そのため、クリック率が向上すれば、ユーザに広告を表示することができ、パブリッシャーの収益機会が増えます。結果、CTR改善が主たるKPIとなります - <u>ゴール</u> - <font color="Red">パブリッシャーのコンテンツがより多く読まれるよう、CTRが競合対比高いコンテンツ推薦エンジンを作る</font> - <u>貢献</u> - 概要 - 競合対比遜色ないCTRを達成した - 役割 - プロダクトリード - アルゴリズム構築 - Relevance予測器構築(前処理・Validation・Train・後処理・評価・予測) - 実装(データベース構築、プロダクションコーディング) - 各ユーザからのコンテンツ要求に対し、17.43(MS/Request)で計算出来る - <u>結論/学び</u> - マーケティングファネル - マーケティングファネルに則り、**ユーザが自ら顕在化させたニーズに対しては情報検索**、**顕在化していないニーズに対しては情報推薦システム**を構築した。前者については検索エンジンなどで議論されるLearning to Rankのフレームワークを使い、後者については前者によって推薦されたクリック実績を集計したランキングを用いた。特に、前者のシステムが改善した際、後者のシステムも大幅に改善したことから、情報検索の機能をよりリッチにすればCTRが高まるだろう。さらに、既に他のユーザBが顕在化させたニーズとクリックフィードバックを用いて、ユーザAにコンテンツを予測する(協調フィルタリング)と高いCTRを実現できるだろう - 機械学習/NLPのモデルも重要だが、**学習データの品質を定量的に評価**する事がさらに重要 - 学習データの品質について。例えば、クリックは0or1の2値であるが、適合性を示す連続値としての潜在値も保持している。ただし、クリックだけでは潜在値を判断出来ないので、これを定量化した - PositionBias | KeywordBias(Stemming) - アルゴリズム以外にCTRが上がる現象として確認できた要素が可処分時間である。一般に週初より土日の方がCTRが上がり易い。これは、コンテンツが無料・可処分時間が通常と比べ長い事を背景に、ユーザーは興味が薄くともコンテンツをクリックすることが分かった - 多様性/冪分布 - 推薦されたクリック実績を使ったわけだが、クリックデータのソースは2つある。1つは全クリックデータ(データA)でもう一つは検索リタゲにより発生したクリックデータ(データB)となる。ランキングとしては、前者を使うより後者を使った方がCTRが大きく高かった。データBが検索起点のクリックデータである事も一因だが、相違点としてCDFが大きく異なった。データBは**裾野が広い冪分布になっており、ランキングに多様性が付与**された事を意味する。**CTRがデータAよりBが高かったことからも、ユーザーは常に過去の類似情報のみを欲していない事も示唆**している - Freshness - 使用した検索クエリは過去の検索履歴であるため、**本システムはインタレストマッチとしての検索エンジンではない**。結果、検索クエリの入力と配信した時間差・検索クエリと記事の適合性、という要素がCTR改善に重要であった

■業務内容 [項目] ・dmenuにおける検索連動型広告のCTR予測アルゴリズム構築 ・solorを用いた検索システムリプレース [概要] ・ポジションバイアス除去を用いた教師あり学習による検索クエリと広告在庫のスコアリング ・N-bestと固有表現辞書を用いた、分かち書きの際の検索漏れ・ノイズトレードオフ解消 ■規模 / 役割 [プロジェクト要員] ・上級管理職 1人 ・管理職 2人 ・メンバー 3人 [自分の担当分] ・上級管理職への説明 ・開発機能の方向性提案 ・アルゴリズム構築 ・プロダクションコード ■備考 ・元々あった案件を技術者として取り組んだ ・dmenuにおける検索連動型広告のCTRを27.63%改善 ・MapReduce ### 詳細 - <u>初めに</u> Googleが洗練された検索連動広告商品を販売している一方、D2Cも同じ商品を販売していました。 残念ながら、**Googleは検索連動広告を寡占しているだけでなく、CTR改善を継続的に取り組んでいる**と考えられることから、広告主が弊社の検索連動広告を利用する理由について見直す必要がありました。**解決策は、Googleの製品に比べて効率的なパフォーマンス**でした。そのために、広告と検索クエリの適合性を向上させるクリックモデル構築を実施しました。 - <u>ゴール</u> dmenuでの検索連動広告のCTRを挙げるアルゴリズムを開発する - <u>貢献</u> - 概要 - **平均CTR改善率は27.63%**(2016/11/6、2017/11/30) - 役割 - プロジェクトリード - アルゴリズム構築 - CTR予測器構築(前処理・Validation・Train・後処理・評価・予測) - 実装(データベース構築、プロダクションコーディング) - 各ユーザからのコンテンツ要求に対し、14.28(MS/Request)で計算出来る - <u>結論/学び</u> - 学習データの品質改善を継続的に行う仕組みが重要 **機械学習がサービス品質（CTRなど）を改善するソリューションの1つ**だと考えます。このプロジェクトでは、サイトデザインの変更・広告代理店によるクリエイティブ改善、特にクリエイティブ改善による教師データの充実がCTR向上に重要っだった。 さらに重要なのは、**CTR予測モデルがそのような各代理店の改善活動を加速させる**ことで、それによるCTR向上が最も寄与する結果となり、その期間に限定すれば、CTRは47.94％改善した。 - 機械学習等の定量評価だけでなく、ドメイン知識も踏まえ、ビジネス・サービスを推進する ドメイン知識と以上のような文脈において、**ビジネスとサービス理解がモデル構築に匹敵する要素**であると考えるようになりました。ビジネスとサービスを推進する事を考えるなければ、今後どのような機能(機械学習・自然言語処理等)を開発するべきかという思考に至らないからです。

■業務内容 [項目] ・検索連動型広告における自社媒体営業の拡大 [概要] ・コンバージョン数最大化を売りに自身が広告代理店への営業 ■規模 / 役割 [プロジェクト要員] ・管理職 1人 ・メンバー 1人 [自分の担当分] ・アルゴリズム構築 ・営業 ■備考 ・技術を先に開発し、応用先を探した案件 ・営業をしたグループではなく、先方の部門単位で受注 ## 詳細 ### ①代理店に対するセールス＆コンサルティング - <u>ゴール</u> - <font color="Red">検索連動広告商品を販売する為のフレームワークを作成する</font> - <font color="Red">提案するフレームワークの販売実績を作る</font> - <u>貢献</u> - 受注 - <u>初めに</u> 弊社が抱える問題は以下2点がある。①パフォーマンス広告を売る標準的な方法がない②ユーザーに適合性の高い広告を配信するための数学モデルがない。そのような背景があり、**ドコモメディアを上手くマネタイズ出来ていない**。他方、前向きな論点として、ドコモメディアの調達コストが安いという点です。よって、それらを販売する効率的な方法を持っているならば、高いビジネスマージンが確保できます。その意味で、この貢献は私たちの会社にとって非常に役立つと考えます。 その為にまず、いくつかの事実から<u>検索連動広告の最大収入を推計したところ、収益が最大で約7倍</u>になることに気付き、**スポンサーサーチ広告でセールスフレームワークを作成する価値がある**ことを確認しました。次に、提案したフレームワークの販売実績を作ることに注力しました。販売員にとってアイディアが納得できかつ、販売実績があれば、営業部の方々にとって有用だと考えたからです。そこで、<u>広告主・広告代理店が弊社の検索連動広告を利用しない理由を列挙し、各問題の効率的な解決策を考えたところ、主に2つ</u>のが挙げられた; - 広告主と広告代理店には、**入札キーワードのカバレッジ(=広告/クエリ)がgoogle、yahooよりも少ない**という問題 - 代理店が弊社の検索連動広告を媒体として使用するコストと広告主からの受注リターンを比較した際、**受注リターン・受注コスト比が代理店の設定する指標より小さい** - <u>方法</u> **インターネット広告の代理店が抱える主たる問題は低い利益率です**。例えば、広告主が広告宣伝費を用意するには、ある程度の予算(=a)が必要です。もし広告主が広告宣伝費を使い成功すれば、広告からいくらかのリターンを得られます。つまり、広告代理店はaに中からb%のマージンを広告主から得ているわけです。その様な状況で、<u>他代理店と差別化が難しいビジネス(インターネット広告運用など)</u>をやっていることが、低い利益率の主たる理由です。その上、<u>ROIという相対的な効率指標だけでなくCV数という絶対数に関しても広告主にコミット</u>する必要がある。特に、広告主としては事業計画の観点からCV数を重視する側面があり、広告代理店はGoogleやYahooのような大きな媒体を使ってCVの数を確保し、その他媒体を使ってROIを調整しています(この問題がG・Yが広告主に大きな影響を与えている理由の一つでもあります)。 つまり**広告代理店と弊社が広告主に供与できるにメリットを考える事は、低いマージンに悩む代理店にとって有益**であると考えます(ROIに関しては次のプロジェクトで改善できました)。そこで、代理店の運用コストを削減するため、特に入札キーワード選定工程を弊社にて引き受け事にしました。 ### ②ドコモに対するセールス＆コンサルティング - <u>ゴール</u> - <font color="Red">入札キーワードのカバレッジ(=広告/クエリ)を改善する</font> - <font color="Red">KPI（ROAS、CPAなど）を最適化する</font> - <u>貢献</u> - 継続受注 - <u>結論</u> - **KPI最適化問題を入札戦略に変換**した - <u>検索クエリを頻度で分析すると、べき分布というロングテイル性を持っていることから、広告の予算配分がこの性質を反映されている</u>必要があります。もし、各キャンペーンの予算が超過した場合、広告主はクリック機会を失い、十分なCVを確保できないからです。KPI最適化問題(入札戦略へ変換)に使用するモデルにこの性質を組み込んだ結果、広告予算が平滑化され、クリック機会を失わず、十分なCVを確保できました。同時にセールスという観点では、広告主に販売するタイミングということにも気づかされました - 開発貢献としては、運用チームをサポートするためのシステムを構築し。さらには、予算制約下において、ROIを管理または最適化するためのExcel(VBA)シートを作成した - <u>初めに</u> 代理店へのセールス＆コンサルティングにおいて、運用コスト削減にフォーカスしながら彼らの収益を伸ばすための効率的な販売方法を構築しました。**代理店はdmenu検索連動広告において、入札キーワードのカバレッジが低いという問題を抱えていました**(Googleではカバレッジが低いという問題を抱えていないように思います)。入札キーワードのカバレッジが低ければ、検索クエリに応答する広告が少ないということなので、弊社にとっても機会損失となります。また、<u>広告代理店や広告主の観点においても、CVの数を確保したいニーズがあるため、広告露出を増やすという意味でもカバレッジが重要</u>となります。つまり、より多くの入札キーワードを提案する数学的モデルは、すべてのカウンターパーティ(D2C、広告主、広告代理店)にとって有益となります。 ただし、<u>広告と検索クエリの適合性を無視した広告露出増加はROIを悪化させる</u>ため、安易なカバレッジ増加を避けるべきと考えます。結果として、**広告露出を増加しつつも、広告主のKPIを最適化する必要があります**。我々は、いくつかの技術的ソリューションを構築して2つの目標を達成しました。