概要)
- 社内にたまるデータを民主化し全員が同じデータを閲覧し、必要な時に必要な情報にアクセスできる環境を構築する
- データ分析を行い課題分析や新しい視点からの提案を行い企業の成長につなげる
役割)
- チームリーダーとして進捗、タスク管理、Lookerを使ったデータ分析基盤の構築を担当
内容)
- 既存データをBigqueryにデータ移行
※使用ツール: Docker, Embulk, Digdag, Python3
環境構築やツール選定は他のメンバーに依頼し対応して頂きました。
移行対象や移行頻度など、作業以外の部分を担当していました。
特に個人情報のデータ移行については総務部などに相談し決めていきました。
DWH については金額や使いやすさ、またLookerの推奨があったこともあり、BigQeury に決定しました。
現在は運用保守を引継ぎましたが、ツールが初めてのものばかりで覚えるのに苦労しました。現在も新規登録時などは、調べたりしながらすすめています。
テスト環境がなかったため、新規で構築しました。
2023年以降はBigQueryの新機能を取り入れてETL環境をDatastream for BigQuery に移行しました。技術選定は自分で行いましたが、メンテナンス性を考慮し、他部署のSREチームに構築、運用を依頼しました。依頼にあたって部署間の調整を行もおこなっています
- Lookerを使ったデータ基盤の構築
これまで他のメンバーが違うBI ツールを導入してきましたが、失敗していました。何故失敗したのか、詳しく聞くことが出来なかったのですが、今回はエンジニア目線で一番使いやすい&フォロー体制が出来るだけ充実しているツールを選択しました。
LookMLの記載方法やExplore の使い方など覚えることがたくさんありますが、調べたりヘルプに問い合わせしたりしながらすすめています。
- ダッシュボード作成のためのヒアリング
営業や会計知識が乏しく普通に使われる言葉の意味が分からず、教えてもらいながら進めています。
在社期間が長いので、それなりに理解しているつもりでしたが、認識の乖離を痛感しています。
その中でも少しずつ理解を深めて今ではそれなりに会話ができるようになってきました。まだまだ分からない言葉や欲しい情報の違いなど、溝が埋まりきれていないもの確かです。さらに業務、会計の知識を増やしてこちらから意味ある提案ができるようにしていきたいです。
- 組織づくり
データ民主化のために専用のチームを作ることの提案をしました。
データ部門を新しく作って全社を対象にすることも考えていたのですが、検討を重ねた結果、全社分は経営企画、基幹サービスは基幹サービス部門にチームを作るようにしました。
基幹サービスの部長に提案し、専門チームを設置してもらいました。
現在は基幹サービスの専門チームと連携を密に取りながらデータ利活用を進めています。
総評)
現在進行形で携わっているプロジェクトだが、これまで経験した分野とは違い、全く新しい分野に挑戦しています。
weekly や monthly レポートの出し方、月末の売上報告、部署による基準となるデータの違いなど聞いて初めて分かることが多く、苦労しています。monthly レポートは10回くらい作り直しました。
また営業、会計の方もわかるように、用語の一覧を作り、管理しLookerのラベルに設定することで、エンジニア以外の人が使いやすくなるように工夫しています。
基幹サービスに専門チームができたことで、自分しか開発ができなかったことを、ほとんど任すことができるようになっています。
そのため開発スピード、質が飛躍的に向上しました。