プロジェクトの詳細としては、商品の売上分析を行う基幹システムのDBをクラウド環境に構築された全社DMP基盤に移行するプロジェクトである。
チーム構成としては、PMが一人、リーダーが三人、メンバーが四人であった。
役割としてはデータ連携機能開発チームのメンバとして、Snowflake上でPyhonにて140を超えるストアドプロシージャの実装とSnowflakeをターゲットDBとしたETL・ESB(PowerCenter,WebMethods)ツールを用いた処理の設計・実装を実施した。また、実装したストアドとETLツールの処理、別メンバの作成したデータクレンジングと取り込み処理を行うAWS Glue,Lambdaについての単体〜総合テスト、本番化までを担当した。
発揮できたバリューとしてはストアド実装時に、既存踏襲というプロジェクト思想のもと現行本番稼働している処理と同じ機能で且つ性能面(実行速度)を意識した実装を実施した。また、AWSやSnowflakeが想定外の挙動をした際に、AWS,Snowflakeとの問合せ率先して実施した。
プロジェクトの結果として、基幹システムのクラウド移行後、夜間処理に要する時間は5時間程度短縮することができ、コスト面でも大幅に削減できている状況である。
上記プロジェクトにおいて、身につけたスキルは、Snowflakeのストアドプロシージャの量産・権限周りの理解、AWS Glue,Lambdaの挙動理解、ETL・ESB(PowerCenter,WebMethods)での設計・実装力、テスト仕様書作成〜実施の流れ、本番化時の流れ(切り戻しetc)