# 概要
求人のアグリゲーションサイトの求人検索機能の開発およびABテスト環境の構築を行った。
# 担当
開発エンジニア
# 期間・規模
2020/1~2020/7
開発メンバー4名
# 使用技術
Scala, PlayFramework, Apache Spark ,VWO, Google Analytics, ECS
# 担当業務
- **求人サイトクローリング機能の性能改善**
1日500万近くの求人票を取り込むクローリングツールが直列でStreamを処理しており、単一マシンの性能に依存してしまっていた。その結果、ピークタイムは2時間近くの遅延が度々発生していた。
処理の中の外部API呼び出しなどのボトルネック箇所となり直列でしか処理できない状態だった。
文字列のパースなどの処理は並列でスケールアウト可能にし、非同期処理が必要な部分はパッチとしてあとから更新を加えるようにして待ち時間を最大10分程度に短縮することができた。
- **2社間の検索エンジンのABテスト環境構築**
一般的なフロントエンドのものではなく、検索エンジンのマッチ率を対象にしたABテスト環境を構築した。
ユーザーの振り分けはVWOというプラットフォームを用いて分けることができたが、レポーティングに課題があった。
バックエンドで振り分けを行うためユーザーの行動のログを取ることができなかった。
この問題を解決するためにGoogle Analytics(GA)を用いた。GAで発行されたCookieの値をAPIに付与することでVWOで振り分けたユーザーとGAのユーザーの紐付けを行った。
これによってGAで環境ごとのユーザー行動を分析することができた。