ID:61331さん

# ビッグデータ連携基盤開発プロジェクト ## 概要 BtoB間でビックデータを連携するためのETL基盤開発 複数のデータソースからETL形式でデータを抽出・整形・格納をおこなうバッチ基盤の開発 また、AWS上で定期実行させています。 ETL基盤の設計・開発、AWS上でAWS BatchとECRの構築、Docker環境構築を担当しました。 また、開発プロジェクトの責任者も担当しました。 ## メンバー 要員数：4名 内訳 PM: 1名 エンジニア: 3名 ## 担当業務 主にETL基盤設計と開発を担いました。 また、プロジェクトの開発責任者としてチームを牽引しました。 ### ETL基盤設計 ETL処理の記述を肥大化させないようにするアーキテクチャ設計を心がけました 大きく下記の2点で実現するように設計しました。 - Extract、Transform、Loadの各処理を実行するフレームクラスを作成 - Extract、Transform、Loadの各工程で具体的におこなう処理設定するconfigファイルを作成 これにより、どんなETLタスクが来てもExtract、Transform、Loadの各フレームクラスは1つだけ定義すればよい状態にしました。 商品データのETL処理を書きたいときは商品データ用のコンフィグを作成して、口コミデータのETL処理を書きたいときは口コミデータ用のコンフィグを作成するなど、コンフィグを追加するだけでETL処理を追加できるように設計しました。 上記の設計の話を図などを交えてテックブログも書いておりますのでよければご確認していただきたいです。 https://engineer.retty.me/entry/2020/12/20/153351 これらの設計をチームメンバーに共有するために下記のツールを使用しました。 - Googleスライドを使用して設計の概要説明資料を作成 - Atlassianのコンフルエンスを使用してチームメンバーと設計の議論を実施 - draw.ioを使用して、設計図を作成 - githubイシューを使用して、開発タスクへの落とし込み これにより、他のチームメンバーが開発タスクに着手する際にもある程度理解した状態で開発に着手してもらえる状態にすることができました。 ### ETL基盤開発 設計で落とし込んだgithubイシューをもとに開発をおこないました。 言語はPython、フレームワークはLuigiになります。 その中で僕が主に担当したのは、ETLアーキテクチャのフレームクラス実装と複雑なTransformの実装になります。 フレームクラスは、Extract、Transform、Loadごとに作成しました。 フレームクラスはコンフィグで設定している情報を取得して、Extract、Transform、Loadの各処理を実行するように作成しました。 そのため、フレームクラスを作成するということは、おのずとコンフィグの設計をする必要もあったので、こちらもおこないました。 複雑なTransformの実装については、主にクライアント同士のデータの突合ロジックを実装しました。 作成しているデータ連携基盤は、複数のクライアントのデータをIDや電話番号で突合する必要がありました。 しかし、別々のクライアントが別々に管理しているデータには、ノイズやビジネス的な制約が多く複雑になってしまい突合するのが非常に困難になってしまいました。 それを解消するために、シーケンス図などを作成してTransform処理の一連の流れを可視化して、ビシネスメンバーに都度確認を取りながら実装しました。 これにより、リリース後も大きな考慮漏れがなく運用を続けることができております。 **こだわったポイント** 開発の進め方になるのですが、Extract、Transform、Loadの各処理の具体的な処理を実装する前に、ETLの一連のモック処理を実装してフレームを作成しました。 これをマージして、開発メンバー全員がETLのフレームを持った状態で各自具体的なETL処理の実装タスクに着手してもらうようにしました。 一連のETLフレームを作成したことより、下記のような接続部分の不具合が無い状態で開発を進めることができました。 - 抽出先データソースとExtractの接続部分 - ExtractとTransformの接続部分 - TransformとLoadの接続部分 - Loadと提供先データベースの接続部分 ### スクラム開発 この開発プロジェクトは、スクラム開発で進めました。 週替わりでスクラムの司会を交代して、全員がスクラムの一連のイベントを経験するようにしました。 Googleスプレッドシートでプロダクトバックログとスプリントバックログを作成して進捗管理をおこないました。 毎朝に朝会を開催して、スプリントバックログを使用して進捗管理をおこない、週一でスプリントレビューとプランニングを開催してプロダクトバックログを使用してステークホルダー達に成果発表と次スプリントの計画をおこないました。 ふりかえりシートもスプレッドシートで作成して、週に一回KPTをおこないました。 KTPではチームのKPTだけでなく、メンバーの個人的なKPTも上げるようにしてメンバー同士で親交を深めることでチームワークを高める動きも取りました。

# カテゴリ特化型飲食店紹介サービス開発プロジェクト ## 概要 toC向けメディアサービス開発（https://andbar.net/） toB向け管理画面サービス開発 データ連携基盤開発 各サービスと基盤は、すべてAWS ECSクラスター上でそれぞれECSサービスを作成して稼働させています。 toC向けメディアサービスとtoB向け管理画面サービスは、業務委託会社と契約して開発を進めました。 各種サービス開発のプロジェクトマネージャーとデータ連携基盤開発は、僕が担当しました ## メンバー 要員数：10名 内訳 PM: 2名 エンジニア: 7名 デザイナー: 2名 ## 担当業務 主にサービス開発のプロジェクトマネージャー兼データ連携基盤開発を担いました。 ### サービス開発のプロジェクトマネージャー 下記のメンバーの開発ディレクションをおこなっておりました - toC向けメディアサービスのフロントエンドエンジニア: 2名(1社目の業務委託会社) - toC向けメディアサービスのバックエンドエンジニア: 5名(2社目の業務委託会社) - toB向け管理画面サービス開発の開発エンジニア: 5名(2社目の業務委託会社) このプロジェクトでは、2社の業務委託会社メンバー計9名の方々と手を組んで開発を進めておりました。 プロジェクトの進捗管理はスクラム開発方式で実施しました。 Googleスプレッドシートでプロダクトバックログとスプリントバックログを作成して進捗管理をおこないました。 毎朝に朝会を開催して、スプリントバックログを使用して進捗管理をおこない、週一でスプリントレビューとプランニングを開催してプロダクトバックログを使用してステークホルダー達に成果発表と次スプリントの計画をおこないました。 **課題点** 最も大きな課題点は、コミュニケーションコストが高かったことです 2社の業務委託会社さんと共同で開発を進めていたため、下記のようなコミュニケーションラインとなっておりました。 - 業務委託会社Aのエンジニア <=> 業務委託会社AのPM <=> 僕 <=> 業務委託会社AのPM <=> 業務委託会社Bのエンジニア - ビジネスメンバー <=> 僕 <=> 業務委託会社のPM <=> 業務委託会社のエンジニア - インフラ構築メンバー <=> 僕 <=> 業務委託会社のPM <=> 業務委託会社のエンジニア このような状態になっていたため、エンジニアメンバーの方と直接コミュニケーションを取ることができず、PMを経由しないといけなかったため、エンジニアへ伝わる情報がずれてしまい認識の齟齬を多く生むようになってました。 また、業務委託会社のPMさんが僕らのプロジェクト以外の案件も取り扱っており、僕らのプロジェクトに関わるのが夜18時以降になるという状態でした。 そのため、僕が連絡した内容がエンジニアメンバーに届くのが夜18時以降になってしまい、対応するのが次の日以降になってしまってました。 リリース日は決まっていたため、開発効率を上げていかないと間に合わない状態になってました。 - 業務委託会社Aのエンジニア <=> 業務委託会社AのPM <=> 僕 <=> 業務委託会社AのPM <=> 業務委託会社Bのエンジニア - ビジネスメンバー <=> 僕 <=> 業務委託会社のPM <=> 業務委託会社のエンジニア - インフラ構築メンバー <=> 僕 <=> 業務委託会社のPM <=> 業務委託会社のエンジニア **解決策** ビジネスメンバーとコミニュケーションを取って、下記の2点を調整しました - 業務委託会社さんにエンジニアメンバーと直接やりとりをさせていただくように交渉 - ステークホルダーにリリーススケジュールが遅れるかもしれない旨をリリース日1ヶ月前に共有して合意形成 まず、業務委託会社さんと交渉して、下記のようにコミュニケーションフローを改善しました - 業務委託会社Aのエンジニア <=> 僕 <=> 業務委託会社Bのエンジニア - ビジネスメンバー <=> 僕 <=> 業務委託会社のエンジニア - インフラ構築メンバー <=> 業務委託会社のエンジニア 通常の開発は、僕とエンジニアメンバーが直接やりとりできるように調整しました。 これにより、認識の齟齬を減らすことができました。 また、インフラ構築に関しては、僕が最低限のmtgのセッティングなどをおこなうだけにして、インフラ構築メンバーと業務委託会社のエンジニアの方に直接やりとりしていただくように調整しました。 これにより、アプリケーションのデプロイ作業もスムーズに進めることができました。 **得られた成果** 結果として、リリース日に間に合わせることができました。 ステークホルダー達の期待値通りにプロジェクトを完遂させることができました。 ### データ連携基盤開発 ETL処理の記述を肥大化させないようにするアーキテクチャ設計を心がけました 大きく下記の2点で実現するように設計しました。 - Extract、Transform、Loadの各処理を実行するフレームクラスを作成 - Extract、Transform、Loadの各工程で具体的におこなう処理設定するconfigファイルを作成 これにより、どんなETLタスクが来てもExtract、Transform、Loadの各フレームクラスは1つだけ定義すればよい状態にしました。 商品データのETL処理を書きたいときは商品データ用のコンフィグを作成して、口コミデータのETL処理を書きたいときは口コミデータ用のコンフィグを作成するなど、コンフィグを追加するだけでETL処理を追加できるように設計しました。 設計で落とし込んだ内容をもとに開発をおこないました。 言語はPython、フレームワークはLuigiになります。 フレームクラスは、Extract、Transform、Loadごとに作成しました。 フレームクラスはコンフィグで設定している情報を取得して、Extract、Transform、Loadの各処理を実行するように作成しました。 そのため、フレームクラスを作成するということは、おのずとコンフィグの設計をする必要もあったので、こちらもおこないました。 複雑なTransformの実装については、主にクライアント同士のデータの突合ロジックを実装しました。 作成しているデータ連携基盤は、複数のクライアントのデータをIDや電話番号で突合する必要がありました。 しかし、別々のクライアントが別々に管理しているデータには、ノイズやビジネス的な制約が多く複雑になってしまい突合するのが非常に困難になってしまいました。 それを解消するために、シーケンス図などを作成してTransform処理の一連の流れを可視化して、ビシネスメンバーに都度確認を取りながら実装しました。 これにより、リリース後も大きな考慮漏れがなく運用を続けることができております。

# 登降園管理システム開発の新規開発プロジェクト ## 概要 登降園管理システムは、保育園の保育士さんで使用するサービスとなります。 保育士さんが園児の登園・降園情報を登録・編集・削除などをおこなったり、請求書出力をおこなったりする業務を支援することが目的として作られたサービスとなります。 要件定義・基本設計・詳細設計・ロジック実装・ユニットテスト実装・結合テストを担当しました。 ## メンバー 要員数：6名 内訳 PM: 1名 サブPM: 1名 エンジニア: 4名 ## 担当業務 主に園児の登園・降園情報を登録・編集・削除機能の要件定義・基本設計・詳細設計・ロジック実装・ユニットテスト実装・結合テストを担当しました。 ### 要件定義 クライアントさんの要望を落とし込んで、PowerPointを使用して各機能の画面構成と想定される挙動を記載した資料を作成しました。 実際にクライアントさんに見せる資料となるため、図などを多く用いて作成をおこないました。 ### 基本設計 エクセルを使用して各機能の設計や画面構成を記載した資料を作成しました。 ### 詳細設計 エクセルを使用して各機能の詳細なロジックを設計、DBで使用するテーブルと取得するデータを記載しました。 **こだわりポイント** 詳細設計でロジックをある程度作成することで、実際にコーディングするときはほぼ手を動かすだけでよい状態にしました。 詳細設計書ができあがったら、その機能はほぼできたと言っても過言ではないくらいの気持ちで作成しました。 ### ロジック実装 詳細設計書を元に機能開発と動作確認を実施しました。 MVC構成のアプリケーションとなっており、フレームワークはSpringを使用しました。 バックエンドロジックは、Java8を使用して実装しました。 コントローラ層とモデル層の役割を意識しながら実装しました。 Viewは、HTML・CSS・JQueryで実装しました。 また、コードレビューもメンバー同士でおこなっておりました。 ### ユニットテスト実装 各機能の品質を補償するためのテスト実装をしました。 テストライブラリは、JUnitを使用しました。 正常系と異常系のテストを網羅的に実装しました。 ### スクラム開発 この開発プロジェクトは、スクラム開発で進めました。 毎日朝会と閉め会を開催して、進捗確認をおこないました。 進捗確認ツールとして、redmineを使用してました。