ID:84354さん

## プロジェクト概要 大手小売業向けデータ基盤構築プロジェクトに参画し、データパイプラインの設計・開発・運用保守を担当した。 各種業務システムから受領したデータを分析基盤へ連携するため、GCSへのデータ配置をトリガーにCloud Functionsを起動し、Workflowsによるデータ加工・クレンジングを経てBigQueryへ格納するイベント駆動型データパイプラインの構築・改善を担当した。また、分析用途だけでなく、他システム向けGCSやAWSへのデータ連携処理も実装した。 日次数GB、累計約2TB規模のデータを扱う基盤において、設計・実装・運用保守に加え、運用中に発生した課題については要件定義から設計・実装まで主体的に担当した。 ### 開発環境 - クラウド：GCP（Cloud Functions、Workflows、BigQuery、Cloud Run Jobs、Cloud Logging） - 言語：Python、SQL --- # 取り組んだ課題①：商品マスタ統合によるデータ品質改善 ## 課題 商品名が担当者ごとに異なる名称で登録されており、同一商品であっても別商品として扱われるケースが発生していた。その結果、分析結果の精度低下やデータ活用時の課題につながっていた。 ## 取り組み 外部商品マスタとの結合による商品名の標準化を実施した。一方で、惣菜など店舗独自の商品は商品マスタと結合できなかったため、顧客へヒアリングを実施し、運用ルールや業務要件を整理した上で、それらを考慮した変換処理を設計・実装した。技術的な実装だけではなく、業務要件を理解しながら最適な仕様へ落とし込むことを意識して取り組んだ。 ## 成果 - 商品データ品質を向上 - 分析結果の信頼性向上に貢献 - 要件定義から設計・実装まで主体的に担当 --- # 取り組んだ課題②：ログ監視・異常通知機構の構築 ## 課題 データ不整合や処理エラーの検知をCloud Logging上で手動確認していたため、障害検知まで時間を要し、初動対応が遅れることが課題となっていた。 ## 取り組み Cloud Run Jobsを利用してCloud Loggingからログを取得し、異常終了やデータ不整合を検知した際にSlackへ自動通知する仕組みを構築した。運用担当者が即座に異常を把握できるよう通知内容も整理し、監視業務の効率化を図った。 ## 成果 - 障害検知を自動化 - 初動対応時間を短縮 - 運用負荷の軽減に貢献 --- # 取り組んだ課題③：Workflowsのメモリエラー改善 ## 課題 サービス開始当初と比較してデータ量が増加し、Workflowsでメモリエラーが週1回程度発生するようになっていた。障害発生時にはデータ連携が停止し、運用担当者による復旧対応が必要となるため、安定稼働が課題となっていた。 ## 取り組み 原因調査を行った結果、APIの利用方法とループ処理に改善余地があると判断した。APIの呼び出し方法を見直すとともに、処理フローを整理し、不要なデータ保持を削減するようループ処理を改善した。メモリ使用量を意識した実装へ変更することで、増加したデータ量にも耐えられる構成とした。 ## 成果 - エラー発生頻度を週1回から月1回へ削減（約75％改善） - データ基盤の安定稼働に貢献 - 障害対応工数の削減に寄与 --- # 発揮した価値・強み 本プロジェクトでは、設計・実装・運用保守に加え、運用中に発生した課題に対して原因分析から要件定義、設計、実装まで一貫して担当した。単に依頼された内容を実装するだけではなく、「なぜその課題が発生しているのか」「どのような改善が最適か」を意識し、技術的な観点だけでなく、顧客へのヒアリングを通じて業務要件も踏まえた改善を推進した。 また、運用保守を行う中で、特定の担当者しか対応方法を把握していない作業が存在し、障害発生時や引き継ぎ時の対応が属人化していることを課題と感じた。 そこで、対応手順や調査方法、復旧フローを整理・文書化し、誰でも同じ品質で対応できるよう手順書の整備を進めた。単に作業内容を記載するのではなく、「どのような観点で調査するか」「どのような場合に次の対応へ進むか」といった判断基準も明文化することを意識した。 その結果、担当者に依存しない運用体制づくりに貢献するとともに、引き継ぎや障害対応の効率化、ナレッジ共有の促進につながった。