esakik

## プロジェクト概要 - 配信前広告の効果予測APIの開発・運用 - データ分析基盤の構築・運用 ## チーム規模・状況 - チーム人数（合計：10人） - プロダクトマネージャー：1人 - ビジネス：1人 - 開発責任者：1人 - 機械学習エンジニア：3人 - フロントエンドエンジニア：1人 - サーバーサイドエンジニア：3人 - 自身の役割 - サーバーサイドエンジニア - 担当工程：要件定義、設計、実装、単体テスト、結合テスト、負荷テスト - チーム状況・雰囲気 - 新規事業の立ち上げから参画 - 事業立ち上げから1年後にベストプロダクト賞を受賞 - 同世代が多くわいわいしている - チームとしての課題 - 基本的に人手不足（どこもそうかも） - 要件の変更や追加が多い ## 担当機能 データ分析基盤の構築の要件定義から設計、実装、テスト、運用保守までを1人でほぼすべて担当しました。 - データベース設計 #bigquery #datastore - テーブルのスキーマを管理するAPIの開発 #functions #run #endpoints - ストレージから広告の掲載・実績の情報を取得・整形し、DWHに格納するパイプラインの開発（ETL） #apachebeam #dataflow - ストレージから広告のPSDファイルの情報を取得・整形し、DWHに格納するパイプラインの開発（ETL） #apachebeam #dataflow - ストレージからクライアントの情報を取得・整形し、DWHに格納するパイプラインの開発（ETL） #apachebeam #dataflow - 広告画像とPSDファイルの特徴量をCNNでそれぞれ算出し、類似したものを紐付けるパイプラインの開発 #apachebeam #dataflow - パイプラインのワークフロー制御 #apacheairflow #composer - CI/CDの構築 #build #circleci - インフラのコード化 #terraform #gcp - ネットワークの構築 #nat #interconnect - SQL チューニング #mysql - Python バージョンアップ #python2/3 - ... ## 大変だったこと 大変だったことが主に3点あります。1つ目は、データ分析基盤の構築という業務をほぼすべて1人で担当することになったことです。パイプライン、ワークフローの要件定義、設計、実装、テスト、CI/CDの構築やインフラのコード化など多岐に渡る業務を行う必要があり、特にクラウドや分散処理プログラム（Apache Beam）の設計の経験が浅く、重荷に感じていました。しかし、Apache Beam に関しては公式ドキュメントとフレームワークのコードをひたすら読み、知識を身につけ、今では同じプロダクトや他のプロダクトからも設計の相談やエラーの対処などをお願いされることが多くなり、社内でのポジションを確立することができました。また、クリーンアーキテクチャなどの設計思想についても学習し、プログラムの品質を担保できるように努めました。クラウドの設計に関しては、AWS と GCP のアーキテクトの方が度々来社されるので、設計による事故を避けるためにも、積極的に相談しに行くようにするようにしていました。 2つ目に大変だったことは、データの居場所が散らかっていたことです。そのことで1番困ったのは、ある機械学習エンジニアの方の要望で、広告画像に別のデータベースに保管されている PSD を紐づけるプログラムを実装することになった（PSDの方が画像として情報量が多いため）ときでした。しかし、それらのデータベースはキーなどで紐づけられているわけではないので、どうやって紐づければ良いのか悩みました。そこで、CNN で広告画像と PSD の特徴量を算出し、それらを faiss（Facebook の高速ベクトル計算ライブラリ）で類似度を求めることによって、問題を解決することができました。 3つ目は、データ量に関することです。広告の掲載や実績の情報は社内のデータベース（MySQL）で管理されているのですが、そこから数億行ものデータを抽出するに処理時間の面で困っていました。というのも、Apache Beam（Python）には MySQL の I/O コネクターが無く、既存の公開されているライブラリでは要件と性能が足りずに、抽出してみると十数時間かかってしまいました。そこで、自身で I/O コネクターのライブラリを1から実装しました。抽出時間は1時間程度で済むようになり、この問題を解決することができました。 ## 貢献したこと 機械学習モデルの精度を上げることに間接的に貢献することができました。このプロジェクトでデータ分析基盤を構築したことで、社内に散らばっていたデータを集約することができています。また、広告画像とPSDの紐付けといったような、他のデータベースにはないデータも貯めていっており、こういった他にはないデータが存在することが、このデータ分析基盤の最大のウリだと思っています。また、自身1人に開発業務を任せられている中、プロジェクト内外に頼り、相談しながら、積極的に業務を推進していくことができました。新規事業でリソースが少ない状態で、重要なデータを揃えることができたというのは自慢しても良いことかなと思います。これらの結果として、2019年6月度にはベストエンジニア賞を受賞することができました。

## プロジェクト概要 - モノリシックなアプリケーションのマイクロサービス化 - レガシー技術のモダン化 - Java 6/Seasar2 → Java 8/Spring Boot2 - 返品機能の開発 - マイページから返品ボタン押下で返品可能に - 返品手続き終了時と完了時にメールを送信 ## チーム規模・状況 - チーム人数（合計：10人） - 開発責任者：1人 - サーバーサイドエンジニア：5人 - DevOpsエンジニア：2人 - QAエンジニア：2人 - 自身の役割 - サーバーサイドエンジニア - 担当工程：詳細設計、実装、単体テスト、結合テスト、負荷テスト - チーム状況・雰囲気 - プロジェクトにかなり遅れが生じており、プログラマーも足りていない → そのため、私がプログラマーとして参画することになった - 外国籍の方が多く、英語と日本語を混ぜながらのコミュニケーション - チームとしての課題 - 環境構築が複雑化しており、手順書が膨大な量に - 技術的負債が溜まっている ## 担当機能 以下は、私が実際に設計から実装、テストまで担当し、開発した機能の一覧です。 - 送付先変更API #java #springboot - 注文情報取得API #java #springboot - 返品API #java #springboot - 返品メール送信バッチ #java #springbatch ## 大変だったこと 率直に、はじめての開発現場だったので、環境構築、実装、テスト、アジャイル開発（スクラム）といったことに慣れることやキャッチアップすることが第1に大変でした。特に、大規模なシステムであったため、コード量が非常に多い点や大きな負荷も考慮した実装やテストを行わなければいけない点について難しく感じました。しかし、メンターや周囲のベテランエンジニアの方々に1から親切に教えていただき、その期待に答えようと懸命に学習することで、その大変さを乗り越えていけるようになりました。 Java、Sprint Boot での API の開発やテストが自身の主な業務であったため、「Java本格入門 」、「Spring徹底入門」、「Web API: The Good Parts」などの書籍で学習し、API の設計やJava 8 の Stream でかっこよく実装すること（Java 6 のレガシー技術から脱却すること）に注力しました。 ## 貢献したこと プロジェクトに遅れが出ている中で参画し、早くにキャッチアップできたことから、API やバッチ処理の設計から実装やテストまでを任され、プロジェクトに貢献しました。1年以上続いたプロジェクトでしたが、目標としていた年内リリースにギリギリ間に合い、リリース後のトラブルもなかったことから、品質も十分に担保した状態で、開発を進めることができたと思います。 また、環境構築がとても複雑になっており、そこの問題を感じていたため、Docker の導入を提案し、実際に導入されました。その後のことは把握していませんが、自分のように新規で入ってきた人がより直ぐに業務に当たれるような状態になっていれば良いなと思います。