プロジェクト概要
目的: 顧客管理データベースを分析で利活用できるような環境整備
役割: 分析基盤メンバーとして参加
使用した技術や開発環境
技術: SQL, BigQuery, Looker Studio
やったこと
プロジェクト開始のための基盤作り
テーブル情報のドキュメント作成
顧客データのどの部分を分析対象とするか検討し、重要度が高いと思われるテーブルをリストアップ
warehouse, martの作成
分析目的に応じて適切なスキーマを検討
Githubの環境整備
チーム開発を円滑にするためのリポジトリ設定
開発環境の整備
Docker, Kubernetesなどの検討と設定
スケジュールクエリの開発
大量データを効率的に抽出するクエリを作成
BIツールでの可視化
クライアントとのヒアリングをもとに必要な可視化を検討
分析環境の保守運用
自動化されていない部分の作業工数削減のための改善策検討と実施
苦労したこと
未経験からのキャッチアップ
概要: SQLの学習
課題・問題点: 初めてのSQL現場でのクエリ改修
SQL記法に不慣れで修正に手間取っていた
打ち手・使用した技術:
SQLの基礎文法を学習
クエリの効率化のポイントを調べ理解を深める
チームメンバーにレビューしてもらいながらスキルアップ
開発環境の整備
課題・問題点: テーブルの更新頻度がサービスごとで異なり、自動化されておらず工数と障害が多発
頻繁な手動作業がボトルネックとなっていた
打ち手・使用した技術:
主にLookerstudioでの障害だったので、類似したテーブルの統合とLookerstudioとBigqeryを接続して自動化をした
手動プロセスをスクリプト化し、安定稼働を実現