ID:57503さん

【プロジェクト概要】 自社サービスの画像分類モデル作成 【チーム構成】 プロダクトマネージャー 1名、バックエンドエンジニア2名、機械学習エンジニア1名 【担当業務】 使用言語はpython, Tensorflow-gpu, SQL,機械学習系ライブラリ。開発環境はAWS上のGCP(EC2, S3) 主にモデルのPOCから実用まで一貫して対応。データの前処理、モデルの選定・実装・作成・運 用 【発揮したバリュー】 ・TensorflowのIncdption-resnet-v2(CNN)を改造したモデルで、BUYMA内の特定キーワー ドを予測するアルゴリズムの思案、作成、実用化 ・200万枚のスクラッチ画像をtfrecordなどを使い、大規模データを複数のGPUで並列処 理して計算の効率化 ・SQLを使用してデータを効率化して、学習可能な形に正規化した仕組み作り ・補助モデルとしてRGB値をLAB値に変換し、3次元ベクトル計算式が適用な形に変換 する、クラスタリング検出モデルの作成 ・ベンチマークのモデルに頼らず、工夫やアイデアで臨機応変に再学習可能なモデルの 作成に成功したこと ・作成モデルをMLops上で(kubernetes)で動かせるようにDjangoでモデルのアプリーケーショ ン化し、Dockerで運用可能な状態にしたこと ・kubenertes上でスケーラビリティ改善のため、curlコマンドで取得した画像URLから推論結 果を返すAPIの作成 ・はじめてのDjangoフレームワーク、その他の知識を短期間でキャッチアップして、3ヶ 月ほどで試験段階に移行できたこと

【プロジェクト概要】 自社サービスの購買ユーザーのデータ分析と改善案の提出 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア1名、デザイナー複数名 【担当業務】 使用言語はpython, SQL,機械学習系ライブラリ。自社内のデータを解析しユーザーの購買理由な どを分析。現状の改善案の作成をデザイナーと協力し作成 【発揮したバリュー】 ・hyperoptを用いた精度の高いxgboost・重回帰分析を用いて、商品を買うユーザー(u1) と買わないユーザー(u2)のセグメントの購買理由の分析 ・特徴量エンジニアリング、決定木や重回帰分析の統計ライブラリの使用による分析精 度を向上 ・購買しないユーザーの原因を分析し、改善案をデザインチームと協力し作成

【プロジェクト概要】 プラスチックの製造工場での異常部品を判定するモデルの開発、初期段階でのリリース 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア2名、バックエンドエンジニア2名 【担当業務】 使用言語はpython, Tensorfow, 画像系機械学習系ライブラリ。異常検知用のモデル選定から実 装、Poc段階での実用可能精度達成、初期段階でのリリースのための修正・MTG 【発揮したバリュー】 ・製造現場でカメラに写った物体の異常を検知するモデルの実用化、複数モデルのPocで の実験(anoGAN, VAE, metric learning) ・anoGANを改造し、styleGANを使用することで、細かい部分の異常を見つけられるする モデルの工夫 ・anoGANと類似画像検索の技術を複合した異常検知モデルを作成しで95%以上の精度を 達成 ・HOG特徴量・SVMを組み合わせた、類似画像検索の施術を応用して、データベースから 補正画像の模範画像の検索をできるようにした ・射影変換用のホモグラフィク行列から補正角度を計算などの画像分類特有の技術を用 い、傾いた画像の位置を補正する補助モデルの作成・モジュール化し、検出の誤差を減ら す工夫 ・初期段階でのリリースまで他のエンジニアとのチーム開発

【プロジェクト概要】 映画レビューからBERTを応用した感情分析モデルの作成 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア1名、自然言語処理エンジニア1名 【担当業務】 使用言語はpython, Tensorfow, 自然言語処理系ライブラリ。映画レビューのスクレイピングによ るデータ収集、BERTを改造したモデルのPoc段階でのモデルの開発 【発揮したバリュー】 ・Pythonスクレイピングによる商用可能な映画レビューサイトから映画レビューのデータ 収集 ・BERT分類モデルに改造し(出力層の部分を改造)、ユーザーの6感情(幸せ、悲しみ、驚き、嫌悪、恐れ、怒り)を分析できるようにした ・スクレイピング等で感情分析用のデータセット作成、日本語用のテキスト前処理・日本語版BERTのfine-tuningで十分な精度を出す ・Attentionがどの単語に注目してるかをHTMLで可視化 ・前処理等の工夫で、6感情で精度70%の精度達成

【プロジェクト概要】 段ボールの積み荷の高さをリアルタイムで計測するモデルの作成しAWS上でクライアントが活 用できるようにすること 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア3名、バックエンドエンジニア1名、営業1名 【担当業務】 使用言語はpython, Tensorfow, 画像処理系ライブラリ。段ボールの長さの計測ロジックの思案と モデルの作成。AWS上で運用できるように(CloudFront, sagenaker, Lamda)等のバックエンド側の アーキテクチャ設計 【発揮したバリュー】 ・sagemakerの組み込みセグメンテーションで、段ボールの長さを測定するモデルの作 成 ・AWSでモデルを運用できるようにAWSのCloudFront、Lambda、Amazon sagemaker、 Amazon APIなどによるMLopsの設計・構築 ・データ管理・業務効率化、gitによるコード管理、コードレビュー、計算処理を高速 化の実装上の工夫 ・顧客との定例などに出席、Pocから本番運用までをチーム開発

【プロジェクト概要】 BERTを応用し、動画版の汎用モデル(CBT)の研究開発 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア4名 【担当業務】 使用言語はpython, Pytorch, 画像処理系ライブラリ。BERTに動画を読み込ませる3DResNetの作成、論文 からCBT専用loss のNCE lossの実装 【発揮したバリュー】 ・pytorch版の3DResNetを使い、訓練ずみBERTに動画を入力できるようにした ・Nvidia-Docker上で複数のGPUを用いた並列処理での開発 ・CBTの専用lossの「NEC loss」を英語論文から実装

【コンペ概要】 ・自動運転に使うセグメンテーションモデルを評価用FPGA(Ultra96v2)に搭載し、処理速 度を競うコンペ。 開発環境はubuntu, Nvidia-Docker、言語はpython,C++。ハードウェアライブラリは ultra96v2(FPGA)、vivado, vitis, 【発揮したバリュー】 ・制度とアイデア賞による上位入賞経験 ・UNetでFocal lossの改造や前処理で、歩行者や信号機など細かい対象物を検出できるよ うに工夫・モデルの改善 ・DPU(AIを搭載するユニット)に合わせてモデルを量子化してハードウェアに移植 し、搭載 ・C++でマルチスレッド、ハードウェアのリソースを考慮した回路設計などによる処理速 度の高速化 ・vivadoなどxilinxのツールを使い、ハードウェアプラットフォーム回路の構築・改良

【プロジェクト概要】 ヘアースタイル分類モデルの精度向上と年齢・性別推定モデルの作成し、ONNXに変換し、エッジ デバイス上で動かす。 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア1名、他エンジニア5名 【担当業務】 使用言語はpython, Tensorflow, C++, 画像処理系ライブラリ。ヘアースタイル分類モデルの精度 向上。年齢性別推定モデルの作成、ONNXでデバイス上の動作までを担当 【発揮したバリュー】 ・顔の前髪部分からヘアースタイル5種類を分類するモデルの精度向上 ・opencvによる顔トリミングとセグメンテーションの前処理で判定精度93%達成 ・マスクをした顔画像に対する年齢・性別推定モデルの作成 ・おおよその年齢推定(Identity-age)と世代推定(generation)の2段階分類にする等の工夫 で、単純なモデルで年齢推定の正解率を大幅に上昇 ・ArcFace Layerを使用し、マスクつき顔画像の性別判定においても92%を達成 ・性別判定は混合ガウス行列をラベルに使うことでロバスト性・汎化性能を上げた。 ・train時によるweighted-loss・randam-eraserの設定等の手法 ・onnx用のヒストグラム平均化関数を自作し、処理速度をopencvを使うより速くするな ど、エッジ上推論時での高速化処理の工夫

【プロジェクト概要】 ハード用の高速化手法である蒸留(DISTILLATION)を用いてMOBILENETベースのエッジモデル (TFLITE)をRESNETベースのモデルに精度を移植し、同じ精度を出すこと 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア1名 【担当業務】 ハード用の高速化手法である蒸留(Distillation)の精度移植手法の調査実装。Distillation の調査から精度移植まで一貫して担当。 【発揮したバリュー】 ・Distillationは実例が少ない中で、自分で一から調査思案し、精度移植を完遂した 点 ・softmax with temperature loss、KL-divergence lossを使い、Distillation用の移植コー ドを作成、タスクの完遂 ・分類問題ではなく検出系ネットワークでも正規分布出力にする工夫で Distillationを行い、ほぼ同様の精度を出した点

【プロジェクト概要】 ~ ベルトコンベアーを流れる電池の不良品と種類の分別モデルを作成し、現場で実用段階まで持っ ていくこと 【チーム構成】 プロダクトマネージャー1名、機械学習エンジニア2名 【担当業務】 使用言語はpython,pytorch, 画像処理系ライブラリ。作成モデルの改良とGPU上で動かせるよう にすること、実用段階までの共同作業 【発揮したバリュー】 ・DeepSortとyolov5を用いたトラッキングモデルとResNeXt用いた2段階のモデルを最新版に改 良し、GPUで動かせるように修正。 ・ベルトコンベアの速度に合わせて適切に検出できるように、カメラのFPSを一定にし、いら ない部分の画像を切り捨てることでモデルの推論を適切に行えるように工夫 ・実用を考慮し、ベルトコンベアやカメラなど本番環境を想定した実験用環境の構築 ・初期リリースとして30分稼働可能の実用段階までの開発