ショチ

■概要 　次期バッチ処理の方式検証を行った。 　環境としてはAWSを用い、Linuxサーバ、Amazon RDS、Apache Sparkの組み合わせでプロトタイプアプリケーションの性能検証を行った。 　検証工程であり頻繁なサーバ構成の変更、環境の再編成などが発生するため、環境構築には構成管理ツールItamaeを使用し、スクリプトの実行で再編成ができるように整備した。 　この中で私は、AWS環境構築（VPC、インスタンス）、OS設定、Oracle設定、Apache Spark設定・チューニング、リソース評価を中心に担当した。 ■業務詳細 　次期バッチシステムとして、Apache Sparkを使用する方式が適切か検証を行った。 　環境としては、APサーバが複数台、また、データベースはAmazon RDSからOracle Standard Edtionを選択した。 　Apache Sparkは、Hadoopでクラスタ構成とし、Executor数、メモリ割当て、core数などの条件設定を変えながら最適な構成を検討した。 Apache Sparkに関しては、既存の書籍等では基本的な構築方法などが載っているのみだったため、公式ドキュメント、その中でもパラメータ一覧などを参考に設定を検討した。 　２ヶ月未満という短期間の検証だったが、基本的な構成でAPが動作することを確認することができた。 ただ、Apache Sparkパラメータの最適化については検討の余地が残った。 　上記の検証において、頻繁にサーバ再構築を行ったり、Apache Sparkの構成を変更することから、構成管理ツールとしてItamaeを使用し、スクリプトの実行でOS初期設定、Apache Spark再構築が実施できるようにした。 Itamaeを選択した理由は、プロジェクト内で持っていた資産が活用できたこと、Chefなど他の構成管理ツールと比較して機能がシンプルで導入コストが低く、今回のような短期の検証に向いていたためである。

■概要 　大手巨大掲示板２ちゃんねるの「レシピ板」と呼ばれる掲示板の書き込みからレシピ集を作成するシステム。 　掲示板の情報を書き込み毎にMySQL上に蓄積、その内容をchasenで形態素解析して食材名を抽出し、紐付けることで、食材名で検索できるようにした。 　食材名は、上記で抽出したものをMySQLに格納した。大根、だいこん、ダイコンなどは同一のものとして検索できるよう、メイン食材（この例であれば大根）のIDをサブ食材（だいこん、ダイコン）に対してメイン食材IDとして持たせ、内部でシノニム情報を構成した。 　WebサーバはApache2、CMSはCakePHPを使用した。 デザインは公開されているパターンを利用したが、バックグラウンドについては使用できる雛形が見つからなかったため、自分で開発した。 　本システムにおける検索手段として、全文検索、食材検索の2種類を実装した。 全文検索は、MySQLのテキスト検索でキーワードを検索するものである。 食材検索は、掲示板内容をchasenで解析した時、出現した食材をひもづけておき、それを食材テーブルから検索するもので、インデックス検索により高速化したものである。また、上記の通り食材名のシノニムにも対応させた。 将来的には、実際に主婦が行っているような「食材の読み替え」に対応させる予定だった。 例）食材にほうれん草が指定されたとき、代替として小松菜、白菜を使ったレシピを提示する等 ■経緯 　自分の得意分野であるDBを用いたシステムを作りたい、何らかの知識を集約してシェアできるシステムを作りたい、あわよくばアフィリエイトで儲けたいという思いで開発した。