ID:76872さん

食料品店のレジ係向けのヒントシステムでした。クライアントの食料品チェーンでは野菜、果物、駄菓子がバーコードなしで売られました。レジ係はレジUIで該当な食材を選び、秤で重さを測り値段を付けました。でもこの食材類が数多く、UIで適切なものを選ぶには5秒以上かかりました。クライアントはこの5秒間をできる限り短くしたかった。その問題を改善するために組み込み機器で食材の写真を取って区別してレジでヒントを見せることになりました。 初めてのIT仕事の初めてのプロジェクトでした。チームはTeamLead/ProductManagerの一人、ハードウェア担当の一人、そしてコーディング担当の私ともう一人のJuniorMLEngineerでした。ですがどんあ問題があっても、私が解決しましたので、プロジェクト開始から半年後そのJuniorMLEngineerが解雇されました。結果的にコードベースの１００％を一人で作りました。 当時の私はまだ経験が浅く、タスクはチームリードから与えられましたが、どう解決するかについては自由でした。何も分からない時には、概ねの助言だけもらいました。 開発中に直面した問題の中で、特に興味深かったものをいくつか挙げたいと思います。 1．レジとの通信 組み込み機器はクライアントのローカルネットワーク内で個別のデバイスです。問題は、クライアントのネットワークへの影響を最小限に抑えながら、それを複数のレジにどのように接続するかでした。この問題を解決するために、チームリードはRNDIS（Ethernet―Over―USBプロトコル）を使用して、レジとのUSB直結接続を提案しました。 それを実行するうちに私は二つの問題に直面しました：レジを通じてのインターネット接続と、RNDIS自体を動作させることです。インターネット接続の問題は、レジと組み込み機器の間でMasqueradeを設定することで比較的簡単に解決できました。しかし、RNDISの設定は簡単ではありませんでした。古いドライバーや、プロトコル、Linuxドライバー、Rockpi4Bのドキュメント不足が問題でした。最終的には試行錯誤を繰り返し、Rockpi4BのUSBポートには'host'、'device'、'otg'などの異なる動作モードがあり、それらはブートローダー設定で指定されたDeviceTreeFileを編集して再コンパイルすることで再設定できることが分かり、この問題を解決しました。 2．コスパ レジの数が多く、Jetson並みの組み込み機器は高価で、レジ係を待たせるわけにはいきません。テスト用の様々な組み込み機器を貰って、適切なものを選んで欲しいと頼まれてしまいました。その組み込み機器はJetsonNano, Rockpi4b、Rockpi3、NanopcM4、そして無名な組み込み機器がありました。決めるためにどんあ推論フレームワークを使うべきか調べるようになりました。 結果的に推論フレームワークとしてTVMを使いました。TVMは推論バックエンドにOpenCLを使えるのでRK3399CPUのRockpi4,NanopcM4はMaliGPUを利用してMobilenetV2(あの頃V3がまだ広まれていませんでした)の推論を１００ｍｓ以内で行うことができました。 3．その他 - ２５０－３５０クラス分類問題でした。Torch + MobilenetV2 ＋ ApexMixedPresicion + Albumentations使って全クラスの精度９０％以上達成しました - クライアントのネットワークは４０Kb/ｓ以下で、CICDやMlOpsは毎夜Crontab+BashScript以外は不可能でした - ３５０＋組み込み機器のモニタリング。監視にはGrafana+Prometheus+BlackboxExporter+VictoriaMetricsを使いました - データベースに関しては、各デバイスでSqlite3の臨時データベースとグローバルデータベースとしてPostgreSQLを使いました

ロシアのAmazonGOクローンでした。AI技術で成り立っているレジのない小売店でした。 チームはTeamLead、ProductManager、BackendDeveloper（Go）、SeniorCVDeveloper（C++）、FrontendDeveloper、JuniorDeveloperの二人。このプロジェクトでDevOps/BackendDeveloperとして参加していました、そして半年間でチームリード代理として勤めていました。 プロジェクトに関わる間、以下のことを達成しました： １．CICD チームに加わった時CICDが皆無で、デプロイメントの一貫性はありませんでしたが。デプロイする際、各チームメンバーはサーバーにアクセスし、私が適切だと思う方法でデプロイしていました。その結果、サービスの一部はDocker化されて実行され、一部はSystemdサービスとして実行され、さらに一部はCrontabにもありました。 これを改善するために私は各リポジトリをDocker化し、GitlabRunnerを使ってCICDパイプライン作成し、全プロジェクトをKubernetesClusterとして立て直した。その内できたものは： - Dockerキャッシュを効率良く使うためにベースのDockerイメージを３つを"作成し（Go用、Python3用、C++用）各リポジトリで使いました - C++ビルドのためのDEBリポジトリも設置しました - MBKのシステムは高い時間精度と時間同期が求められていたのでPTPを設置しました。サーバーをPTPマスターに設置し、各デバイスをPTPスレーブに設置し、サーバーでNTPを設置しました - KubernetesのCronJobを使って定期的にデータベースのバックアップとNFSで保存を作成しました - Kubernetesのネームスペースを使ってDevel、Testing開発環境を作成しました - 簡単なKubernetes用のDebugContainerシステム - ELKロギング - 以上の成果によりあれ以来会社のインフラの面倒見は任されました（Proxmox、Gitlab、Wikijs、Nginx、Jitsi、他のプロジェクト等々） ２．マイクロサービス開発 DevOpsの仕事の大部分を終えた後、私は開発者として貢献を続け、主に外部サービスやデバイスと統合するマイクロサービスを作りました。 作成したサービス： - ユーザー認証用のSMSサービス - コーヒーマシンとの統合 - 改札口との統合 - アカウンティングサービス - 内部RabbitMQメッセージ監視サービス - KubernetesClusterのデプロイを支援するサービス。Flaskサーバーで、簡単なWebUIを持ち、KubernetesWebAPIとGitLabWebAPIを使用して、うちの開発者がGitLabのDockerレジストリからどのDockerコンテナをデプロイするかを手動で選択できるようにしました ３．チーム・リード代理 新しい店を開ける時期、ある事情のせいでチームリードが不在になって、私が臨時的なチームリードになった時期がありました。 タスクを振り分けて、クライアントとの交渉して、とんでもない量のメールを書いて、新しい店を無事に開けることが出来ました。

在庫用の顔認識システム。在庫の入口に組み込み機器を設置して、在庫係が入る時顔を認識して記録するシステムでした。 チームはチームリーダーと私とJuniorDeveloperの二人。私はMLDeveloperとJuniorの指導者として参加していました。 主に担当していたことは： １．マージリクエストをレビューすること ２．グローバルデータベースの作成と計画 ３．顔認識にInsightfaceのモデルを使いました ４．顔ベクトル集約。最初はPostgreSQLデータベース内にストアドプロシージャとして実装されたk-meansクラスタリングを使用していましたが、テストでのパフォーマンスが大幅に向上したため、最終的にはAnnoyフレームワークに切り替えました ５．Insightfaceモデルでプロトタイプを作成し、当時MBKプロジェクトで忙しかったため、UIの実装はQTを使ってJuniorに任せました 残念ですが、クライアントの事情でプロジェクトが中止になりました。

店舗チェーン向けの顔検出、トラッキング、認識システム。店の入口でIPカメラとJetsonNanoを設置し、不審者を検出するシステムのパイロット版を作成しました。 チームはProductManager、FrontendDeveloperとBackend/MLDeveloperとして私の3人で構成されていました。 パイロット版の開発中に以下の機能を作成しました： 1. JetsonNano上でのソフトウェア。一番の需要点はパイロット版のパフォーマンスでした。主な機能は以下の通りです： 1. ハードウェアアクセラレーションによるRTSPストリーム処理と動画スニペット記録　（Gstreamer+nvenc,nvdec） 2. 顔検出にInsightfaceのSCRFDモデルを使いました。推論速度が早く、精度はパイロット版に十二分でした 3.顔トラッキングにはパフォーマンスを考慮し、IoU使いました。カメラの位置的にもIoUとは問題ありませんでした 4. 最適フレーム選出アルゴリズム。顔トラッキングで取れた動画の中で様々な基準で（Bboxの大きさ、店内のいち、顔キーポイント検出の成果）一番顔認識に相応しいフレームを選ぶアルゴリズムを開発しました 5. 顔認識にInsightfaceのGlint360K-Arcface、Embedding処理にAnnoyフレームワークを使いました 2. モバイルアプリのバックエンドとインフラ。Flask（gevent）と簡単なSocketServer、Redis、PostgreSQLデータベース、マイクロサービス間通信用のRabbitMQ、プッシュ通知にFirebase PR動画も見つかりましたので、こちらへhttps://www.youtube.com/watch?v=ZyozoPBD3go （ロシア語のですみません）

植物の葉における植物分離、寄生虫分離や病気分離。送られた写真の中で植物に関しては様々な情報を提供するモバイルアプリでした。 チームはAntivorと同じくProductManager、FrontendDeveloperとBackend/MLDeveloperとして私の3人で構成されていました。 コードベースの大分はAntivorの再利用されたので、違うところだけは述べます： １．RabbitMQを使った画像処理パイプライン。画像分離に三のMobilenetV3ワーカーを使いました ２．組み込み機器はありませんでした

組み込み機器の貨物コンテナ向けOCRシステム。画像の中でナンバープレートを見つけ、その番号を読むこと。 チームはプロダクトマネージャー、私、データアノテーターの二人で構成されていました。 プロジェクトの注目すべき点： １．ナンバープレートの状況。ナンバープレートのパタンの多さや様々な状況（汚れ、傾き、照明条件など）のためTesseract、EasyOCR、Craft等が望む精度が見せず、二つYoloV5モデルを使うようになりました ２．検出された文字やテキストブロックを正しく統合し、コンテナ番号を生成するアルゴリズムを開発しました ３．パフォーマンス制限。二つのYoloV5の推論時間を1秒以内に達成す為にOrangepi5のNPU使いました ４．データアノテーション作業を効率化するためCvatとの統合を作りました 最終的に、ナンバープレートの検出精度９７％、文字の検出精度９８％、および番号全体の精度９５％を達成しました。

2019プロジェクトとの違いは： 　１．ネットワーク制限はありませんでした。最初はWatchtower、後は自作の自動更新システムを作りました 　２．各組み込み機器にアクセスできる自動SshForwardシステム 　３．Dockerネットワークによるコンテナの隔離、ローカルネットワークブロードキャストによるデバイス発見システム、カスタムPrometheusメトリクスエクスポーター

倉庫自動ロボット向けパレット検出システム。LIDARなどが失敗した場合にパレットの下にロボットを入れるようにする倉庫ロボット向けシステムでした。 チームはプロダクトマネージャー、チームリード、私とJuniorMLDeveloperの4人でした。 プロジェクトの注目点： １．YOLOv8キーポイントモデルを使用し、パレットの角を検出して、ROS2でロボットに伝えるようにしました ２．組み込み機器システムのでOrangepi5を使いました。パフォーマンス面も考慮し、一番適切なデバイスでした