ID:83627さん

## プロジェクト概要 LLMのトレース基盤を構築し、プロダクトチームが改善サイクルを効率的に回せる環境を整備しました。 ## 役割・体制 ### 自身のポジションと役割 - バックエンドエンジニア兼機械学習エンジニアとして、AWSを活用したインフラ構築からLangfuseを用いたトレーシング機能の設計・コーディング、運用・保守まで一貫して担当しました。 - 技術選定の主導とセキュリティ要件を満たすための実装設計を行い、他チームとの技術的な調整や要件すり合わせも推進しました。 ### チーム規模と構成 - 3名のエンジニアチームでスプリント形式の開発体制を取り、約３ヶ月以内の期間で短期間集中型の開発を実施しました。 ## 背景・課題 - LLMの利用に伴い、トレース機能が不足しており、モデルの挙動分析や改善サイクルの高速化が課題となっていました。 - 技術選定においては、最新技術の多様性と成熟度の不確かさにより、最適なツールの選定が困難でした。 - セキュリティ要件が非常に高く、機密データを含む環境で安全にトレース機能を実装することが最大の技術的課題でした。 ## 実際の取り組み ### 開発環境 - AWSを基盤に採用し、可用性とセキュリティを考慮したクラウド環境を構築しました。 - Langfuseを用いてLLMのトレースを実現し、操作ログやAPI呼び出しの詳細な記録と可視化を提供できる環境を整備しました。 ### 設計・改善内容 - 社外勉強会への参加や事例収集を通じて最新のトレーシング技術を調査し、複数のツール比較を実施してLangfuseを採用するに至りました。 - 社内の複数ユーザーとの綿密なコミュニケーションを通じてニーズを深掘りし、セキュリティ要件を満たしつつ使いやすい設計を実現しました。 - スピード感を重視し、実装検証を短期間で繰り返すことで技術選定と設計の精度を高めました。 ### その他アピールポイント - セキュリティ面での高い要求に対応するため、アクセス制御やデータ暗号化を含む実装基盤の強化を行いました。 ## 成果・価値 - 構築したトレース基盤により、プロダクトチームがLLMOpsを効果的に回せるようになり、改善サイクルの高速化と運用効率化を実現しました。