ID:67361さん

- プロジェクト概要 - クライアント企業がもつ顧客のAd-IDを会社がもつ位置情報と組み合わせることで、広告 (特にWebページ) からの来店数・広告効果を検証できるサービスを開発した。 - チーム情報 - プロダクトマネージャー (1人)と開発者 (自分・1人) - 開発は実質ほぼ自分のみで行った。 - 週次で次の追加機能から開発タスク・スケジュールを2人で一緒に決めて、実行するサイクルをまわしていくスタイル - 開発・実装内容 - BigQuery上でのクエリ実行時間が数時間かかってしまっていたので、最適化して20分以内に短縮した - Cloud Run jobsでバッチを実行、またGCPのWorkflowsを使ってスケジューリングした - Terraformを使うことで複数のクライアントへの横展開や一括したバッチ管理を行った - バッチ監視をCloud Monitoringで行い、失敗時にはSlackに通知するようにした - pytestを使いこなすことで自動テストを網羅的に行った - 使用技術 - Python 3.10 - pytest - Click - SQL - Google Cloud - BigQuery - Cloud Run - Workflows - Cloud Monitoring - Cloud Functions - Datastore - Terraform - Docker - git

- プロジェクト概要 - 会社の事業上、テラバイトスケールもありうる大規模なデータを社内外とやり取りしており、アナリストやデータサイエンティストが使用できるような状態にするため高速で安定したETLバッチ処理の開発をする必要があった。 - チーム情報 - 開発は自分1人で完結 - データサイエンティストやフロントのメンバーが各々自分に依頼して、相談しつつ進める方式 - 開発・実装内容 - 会社のデータウェアハウスは原則BigQueryなので、ここを始点・終点とするバッチの開発を行った。 - バッチ自体は前半ではCloud FunctionsまたはCloud Run (REST) を使用し、オーケストレーション・監視にApache Airflowで運用していた。 - ただAirflowはサーバー上に構築されていたが、サーバー自体のメンテナンスや障害発生時の広範囲の影響などを考えて途中からGCPのWorkflowsに移行した。 -バッチの構築も後半からは、本来はWebサービス用のCloud Runからバッチ専用でタイムアウトなども長いCloud Run jobsへ移行した 。 - 中にはデータがダーティなものやファイルフォーマットが合わないものがあり、そのときはDataflowを用いた。DataflowのFlex Templateでの使用はあまり前例となる情報がなく困ったが、試行錯誤とコードレベルでの調査により効率的な処理を構築できた。処理時間も約30分程度に収めることができた。 - SSHでの大量データ受送信などもあり、Paramikoを用いて途中ネットワーク切断があっても再開が可能なものにした。 - またpytestを積極的に使用することでソフトウェアの信頼性を担保できクラッシュの少ないバッチを実装できた。 - 使用技術 - Python 3 - pytest - Apache Beam - Flask - Paramiko - SQL - shell script - Go - Google Cloud - BigQuery - Cloud Run - Dataflow - Cloud Functions - Workflows - Apache Airflow - Apache Avro - Docker - git

- プロジェクト概要 - その会社の不動産営業の成約したケースからなるデータから、顧客の傾向など今後の不動産営業に活かせるような知見を得ようとした。 - チーム情報 - 自分を含めてデータサイエンティスト2人 - 開発・実装内容 - 正直なところデータの質・量ともにあまり望ましい状態ではなかったものの、LightGBMや最適化にOptunaを用いることで可能であるようなデータ解析と仮説検証は行うことができた。 - 使用技術 - Python 3 - pandas - Jupyter Notebook - LightGBM - Optuna

- プロジェクト概要 - クライアントである自動車会社において、自動運転技術のため画像に写った歩行者・自動車・木などのものを判別する必要があった。それを機械学習で達成するためまずは機械学習パイプラインを開発することとなった。 - チーム情報 - 2人 - 自分が開発を全て担当 - もう1人がドキュメント整備やクライアントとの連絡を行う - 開発・実装内容 - このプロジェクトが自分にとってはじめてのETL処理開発になり、Apache Airflowでスケジューリングを、DataflowでデータのバリデーションやTransform処理を開発した。 - 初めてのGCPサービスばかりであったが、各技術を迅速に調査・学習し納期以内にパイプラインを開発・納品することができた。 - 使用技術 - Python 3 - Google Cloud - Dataflow - Cloud Composer - Apache Airflow - Tensorflow 2

- プロジェクト概要 - 会社としてAI技術を対外的にアピールする必要があり、カンファレンスでのデモとしてひとの顔写真をもとにアニメ絵を生成する機械学習モデルをその実装から学習まで行った。 - チーム情報 - 自分を含めて開発者2人 - モデルの開発自体はほぼ自分が全て行った - 開発・実装内容 - 候補として上がった機械学習モデルを、その英語原論文を実際に読みながらフルスクラッチでの実装をPythonで行った。また当時まだアルファバージョンであったTensorFlow 2.0を積極的に採用した。 - またフィードバック・改良から再度のモデル学習までを半自動化し高速に開発サイクルを回すことができた。 - 当初見当をつけていたモデルと手元にあるデータでは目標の性能をなかなか出せず、機械学習の性能向上のため他の英語論文をいろいろ調査しながらの開発となった。 - 使用技術 - Python 3 - Google Cloud - AI Platform - TensorFlow 2