ID:80965さん

# 最も苦労したプロジェクトです ## 【プロジェクト概要】 眼科診察台のスライドテーブルを自動昇降させるためにエッジAIを遂行。シングルボードコンピューターのNVIDIA Jetsonを眼科診察台に組み込む形で実現し、Jetsonに係る全てを担当。具体的には、Jetsonの環境構築、自動昇降のためのアルゴリズム構築、TensorRTエンジン向けのMLモデルの最適化等。 ## 【担当業務】 - NVIDIA JetsonのCUDA環境立ち上げ - 技術選定（姿勢推定モデル、単眼深度推定モデル） - MLモデルの軽量化 - 推論最適化エンジンTensorRT向けコード実装 - 量産時対応（瞬断対策、OSのイメージ化） ## 【担当フェーズ】 技術選定 要件定義 基本設計 詳細設計 実装 ※”テスト”は今後実施予定 ## 【開発環境】 Jetson Linux (Ubuntu) ## 【メンバー／役割】 チーム：3名 全体：15名 役割：エッジAI（組み込みAI）開発 メンバー ## 【課題】 ①JetsonはGPUを搭載したARMプロセッサマシンであるが、必要なモジュールのARM向けホイールが存在しないこと。 ②Jetsonはマシンパワーに欠けるが、一方で当プロジェクトではリアルタイム応答性を求められていたため、高速化の必要があったことが課題であった。また、MLモデルは初回の推論時にオーバーヘッドと呼ばれる比較的長めの実行時間を要するが、機器の仕様上、医療現場で主電源を入れたときにこの待ち時間が生じてオート機能を使用できないのを避けなければならなかった。 ③エッジAI自体が社内で初めての取り組みのため、量産時のJetsonモジュールの供給元やJetsonの量産工程といった量産に係る全てが未定義だった。 ## 【工夫点】 ①PytorchやOpenCVのようなC言語で書かれたライブラリはCMakeを使ってソースコードからビルドインストールする形で、ホイールを介さずにインストールした。 ②リアルタイム応答性を得るには、ハードウェア(GPU)の強化かソフトウェアの強化の2つの選択肢があったが、コストの制限があったため、ソフトウェアの強化を行った。具体的には、TensorRTと呼ばれる推論最適化エンジンを使い、MLモデルを高速に動かした。 ③マーケティング部が想定する生産台数を安定して供給可能な代理店を見つけようとした。また、量産工程については、工場では常に時間が足りていないという意見があり、極限まで無駄を省いた量産工程を確立できるよう努めた。 ## 【結果】 ①自力でビルドしてインストールを完了でき、目的の処理を実現できた。実際はPytorchやOpenCVはCPUでも動くが、実行速度が遅すぎるので、確実にGPUを使う必要があり、これを達成できた。社内ではエッジAI自体が初の取り組みのため、ノウハウとして共有した。 ②推論のためのスクリプトは全てTensorRT向けに書き換えて実行した。当初オーバーヘッドは4分〜6分かかっていたものが、TensorRTによりおよそ1秒に短縮できた。さらに、MLモデルを半精度に量子化したので、実行速度はおよそ半分になり、リアルタイム応答性を十分に獲得できた。 ③NVIDIAの正規代理店と交渉を重ねて量産時に目標台数分のJetsonを供給してもらえることを確認した。これと同時に、自身で進めていた量産工程の確立において、UEFI更新とM.2 SSDへのブートデバイスの切り替えは代理店で対応可能と判断し、交渉した結果、対応いただける運びとなった。

## 【プロジェクト概要】 新製品となるスマートデバイスミラーの開発。美容室にある鏡をデバイス化して、ユーザーの問題を解決するためのプロジェクト。 ## 【担当業務】 ・複数種類の機能のうち、主たる機能である髪色変換機能の設計、実装、評価 ・評価に関して、他機能含めたユニットテストの設計、実装 ## 【実績・取り組み】 ・ミラーに映る髪を自然な仕上がりに染めるアルゴリズムを実現 ・テスト工程ではユニットテストを担当し、カバレッジはC2でテストケースは全てパスする条件の基で設計、実装 ・現勤務先が単独開催している展示会にて、スタッフとして来場者に当機能を説明、レクチャー ## 【担当フェーズ】 技術選定 要件定義 基本設計 詳細設計 実装 単体テスト ## 【開発環境】 Linux(Debian) Python3 ShellScript ## 【メンバー／役割】 チーム：5名 全体：15名 役割：バックエンドエンジニア メンバー