ID:50798さん

# 概要 大規模なモノリシックバックエンドに集約されていた画像処理機能を分離し、全社の複数サービスから共通利用できる独立した画像処理基盤を設計・構築。 技術選定、アーキテクチャ設計、技術仕様の策定から、関連チームとの調整、既存システムからの移行方針の策定・実施まで、プロジェクトを技術面から一貫して主導し、実装しました。 本番環境で約100万枚規模の画像データを扱う環境において、画像処理の責務を共通サービスへ集約し、既存バックエンドの負荷軽減とストレージコストの最適化を実現しました。 # 主な成果・貢献 - 全社共通の画像サービスを設計・構築 - 既存バックエンドの画像関連処理を共通サービスへ移行 - *画像処理を22倍高速化 (*upload, webpに変換, S3に保存) - メインバックエンドのDB書き込みを1日平均12.2万回削減、読み込みを1日平均15.5万回削減 - S3のストレージ使用量を約9.3TB削減 - 画像関連のS3コストを約90%削減 # 技術的な取り組み 技術選定からアーキテクチャ設計、技術仕様書の策定、実装まで一貫して担当しました。 特に以下の点を重視して設計・構築しました。 - **画像の重複排除：** 重複する画像の保存・処理を防ぐ仕組みを導入し、ストレージ使用量と処理コストを削減。 - **オリジナル画像のみを永続保存する設計：** リサイズや編集を施した派生画像は永続保存せず、リクエスト時にオンデマンドで生成（On-the-fly Processing）し、生成結果をキャッシュする方式を採用。画像のバリエーション増加によるストレージ使用量の肥大化を防ぎ、保存コストと柔軟性を両立。 - **APIと画像処理Workerの分離：** APIと非同期画像処理の責務を分離し、それぞれ独立したリソース管理とスケーリングを実現。 - **KEDAによるオートスケーリング：** SQSのキューに蓄積されたジョブ数に応じて、画像処理Workerを0〜50まで自動スケーリング。大量の画像を効率的に処理しながら、ジョブがない場合はWorkerを0まで縮退させ、不要なリソースコストを削減。 - **SQS・DynamoDBを活用したコスト効率の高い設計：** マネージドサービスを活用し、処理量の増加に対応できるスケーラビリティを確保。利用量に応じた課金体系により、開発・ステージング環境でも本番環境と同等のアーキテクチャを維持しながら、運用コストを最適化。

# 概要 TV OS向けコンテンツデータを取り込むバックエンドシステムの開発・改善を担当。 20以上のコンテンツプロバイダーからのデータフィードの取り込み、複数の外部IDの紐付け、データの集約、約100万枚の画像処理、外部サービスへの通知など、複数サービスで構成されるデータ処理パイプラインの開発・運用に従事しました。 # 主な成果・貢献 ### 1. データパイプラインの性能改善・拡張 - パイプライン全体の処理時間を6.5時間から2時間へ短縮（約69%削減） - 対応コンテンツパートナーを5社から21社へ拡大し、TVで視聴可能なコンテンツを約6万件から14万件へ増加 - コンテンツパートナーごとに並列処理数を調整できる仕組みを導入 - コンテンツの変更差分のみを下流サービスへ送信する仕組みを構築し、不要なデータ転送・処理負荷を削減 ### 2. コア機能のリファクタリング・アーキテクチャ改善 - コア機能の大規模なリファクタリングとコード構造の再設計を実施 - 共通データモデルを導入し、プロバイダーごとに分散していた処理を共通化 - Repositoryパターンを導入し、データアクセスとビジネスロジックの責務を分離 - 外部プロバイダーから取得するデータを共通データモデルへ正規化 - テストカバレッジを17%から80%へ向上 ### 3. ワークフローの自動化・可観測性の向上 - データパイプラインの定時実行を構築 - タスク間の依存関係を定義し、失敗時には後続処理を停止する仕組みを実装 - Grafanaを使用してプロバイダー別の実行時間、更新件数、パイプラインの稼働状況を可視化 - 異常発生時にSlackへ通知するアラートを整備 - 可用性を考慮しながら、短納期での新機能開発にも対応 # 使用技術 Go, PostgreSQL, AWS (EKS, Aurora, DynamoDB, SQS, CloudFront, S3, IAM, Secret Manager等), ChatGPT API, Kubernetes, KEDA, ArgoCD, ArgoWorkflows, Datadog, TMDB API

# 開発プロジェクト - マーケットプレイスDappの開発 - 担当人数：8～15人 - Blockchainのexplorer開発、インフラ対応、SRE - 担当人数：4人 - Blockchain, SDKソースのメンテナンス - 担当人数：3人 # 貢献したこと ## マーケットプレイスDappの開発 - 高速な仮説検証、リリースを繰り返し、リリースから半年で数億円売り上げるアプリケーションの開発をリードしました。 - チーム内に知見がないスマートコントラクト、onchainの処理に関する知識、ベストプラクティス、実装方法等を展開し、チームのレベルを上げつつ、プロダクトの質を向上させました。 私がjoinしてすぐにアプリケーションの仕様を大きく変えてリニューアルしてリリースしよう、という事業判断が下されました。 その時に既にリリースまで2ヶ月程度でまず大きな部分から急速にシステム仕様をメンバと決めて、実装に取り組みました。 高速に開発を進めながら、プレリリースをしたい、などビジネスからの急な要望にもどのようにすれば対応できるかメンバと議論し、プレリリースを実施し、事前登録で10万人を越えるユーザが登録してくれました。 初めてのセールの際は暗号資産の送金部分に問題があり、当日問題対応を実施し、ユーザに暗号資産を全て返金しました。 2週間ほどで抽選販売機能を実装し、再度セールをして無事セールを終えました。 その他にも多数の機能実装を短期間に実施し、半年で数億円以上売り上げるアプリケーションの開発をしています。 バックエンドチームも3人～9人にまで拡大し、以下のようなチーム拡大に必要なことは様々なことをやってきました。 - アーキテクチャ思想の共有、普及 - 開発ルール整備 - onboardingのサポート、環境整備 またスマートコントラクトやBlockchainに関わる部分の知見がチームになかったので、業務外の時間も上手く活用し、自らが技術に触れ作成することで自身の知見を蓄えました。 その後チーム内に展開し、チーム全体のweb3, Blockchainに関する知見、当たり前を醸成し、プロダクトの質の向上、アウトプットの最大化を実現いたしました。 ## Blockchainのexplorer開発、インフラ対応、SRE - developとstaging環境を構築した上で、本番をscalableなインフラ構成にし、SLI（サービスレベル指標）を向上させました。 私が入る前、外注して以下の旧本番環境でアプリケーションが動いていたいました。 デプロイが完全手動で、かつプロセスを手動で止めるのでダウンタイムがあることから、 リリースから1度もアップデートされていないことが課題でした。 かつオートスケールなどの設定もされてなく、今後スケールするのが見えていたアプリケーションだったので 今後のAPI server, DBのスケーリングの課題もありました。 [旧本番環境] - API server : EC2 - chain情報をDBに入れるserver : EC2 - DB: EC2 今後の開発用、上記の課題を解決するためにstage環境の構築し、以下新本番環境に移管しました。 [新本番環境] - API server : ECS on Fargate - chain情報をDBに入れるバッチ : ECS on Fargate - DB: Aurora3 (MySQL 8.0) 移管前問題になっていた、可用性の部分をオートスケーリングを 設定し、SLI（サービスレベル指標）を向上させました。 かつECSに移管したことでサービスを停止させることなく、デプロイができるようなり、サービスのリリースが頻繁にできるようになり、ユーザからも良い感想をたくさんいただきました。 [使用言語] - Golang - Solidity - Foundry (Forge, Solidity Scripting) - Terraform - JavaScript, TypeScript - Hardhat [インフラ] - AWS (ECS on Fargate, CloudFront, S3, ALB, RDS(Aurora 3 MySQL), ECR, KMS, SSM, IAM, VPN, NAT Gateway) [DB] - MySQL8.0 (Aurora3) - DynamoDB [CI/CD] - Circle CI - Github Actions

## 開発プロジェクト - 分析Webアプリケーションの開発 - Backend, DB, インフラ 等を担当 - 担当人数：5人 - データ収集、集計アプリケーションの開発 - アプリケーション開発、サーバ・ストレージのメンテ等を担当 - 担当人数：1人 [使用言語] - Node.js - Python - Golang [インフラ] - AWS [DB] - MySQL (Aurora) - DynamoDB [CI/CD] - Github Actions - Code Deploy (AWS)

■VoDアプリのCDN移管(7億円のコスト削減実現) 　既存のCDN業者から自社統括のCDNへの移管作業を英語で遂行。 　その際に必要な業務全般。 　以下が具体的な業務内容です。 　　-ファイル移行、確認 　　-配信プロパティ設定、確認 　　-トラフィック監視、分析 　　-監視ツール開発 　　-障害対処、防止策の実装 [使用言語] 　-JavaScript 　-Node.js 　-HTML5 　-SCSS(CSS) 　-SQL [開発環境、ツール] 　-Atom 　-Postman 　-Fiddler 　-WinSCP 　-AWS SDK 　-AWS SAM 　-SQLite [インフラストラクチャ] 　-AWS ■2D動画のXR化PoC 　VoDサービスの競争激化で勝ち残るため、新たな価値の提供を試みるためのPoC。 　PiFuHD, OpenPose, GAN等の最新技術を調査、使用し、実現性を確認。 　主に以下業務を担当。 　　-外部開発チームの統括 　　-開発環境の調達、整備 　　-関連部署、関連会社への成果の報告 　　-他XR関連部署との連携 [開発環境] 　-Unity 　-Google Lab