ID:8320さん

分析用データを集約させる基盤を、AWS Redshiftからより料金の安いBigQueryに移行する作業を担当しました。具体的には、従来Redshiftで作られていたテーブルをほぼ同じ形でBigQueryに取り込むバッチを実装することと、データの調査や他部署との調整を行っていました。 一部の過去の商品データが欠損することが判明し、アクセスログから出来る限り再現してインポートするプログラムを急遽書いたり、Redshiftからレポート用データを抽出している担当者がしばらく病欠してしまい、急遽自分がレポートを再現するSQLを全てリライトしなければいけなかったり、想定していた以上に労力がかかる仕事でした。 また、RedshiftとBigQueryとのデータ照合をひたすら行う必要があったため、簡単な検証作業をR言語を用いて自動化して簡略化しました。この作業の中で、先輩のデータサイエンティストから、dplyrやtidyrとパイプ演算子を用いたモダンでより簡潔なR言語の書き方を学ぶことができました。また、Rubyでのバッチ処理を実装しながら、テストコード（Rspec）を使いながら実装する方法も身につけました。

WEBサイトへの集客元への計算バッチの開発に、レビュワーとして関わりました。プログラムの実装は当時新卒1年目のデータサイエンティストが担当し、数理最適化用のライブラリのpulpを利用して実装しました。 彼はプログラミング経験は当時そこまで豊富ではなかった（逆に私には数理最適化の知識は無かった）し、社内ではデータ解析用途としてPythonよりRが使われていました。そのため、レビュー以外でも、Pythonやpandasなどの可読性の高い書き方を（自分も調べながら）共有したり、jupyter notebookを利用して試行錯誤しながらコードを書ける状態にしたり、できるだけ彼がスムーズに実装し、プログラミングのスキルを身につけられるよう心がけました。