ID:80546さん

【技術ドキュメント検索・要約AIアシスタント】 開発者が公式ドキュメントや技術ブログから情報を探す際の「目的の情報が見つからない」「全体像を掴むのに時間がかかる」という課題を、RAG(検索拡張生成)技術を用いて解決するWebアプリケーションです。 アップロードしたドキュメントに対して自然言語で質問するだけで、AIが関連箇所を特定・要約し、参照元と共に回答を生成します。 --- ### ▼ ロードマップ - [x] 環境構築(WSL2, GitHub連携) - [x] MVP実装(RAG検索・回答生成) - [x] GitHubリポジトリ整備(README・構成見直し) - [x] 回答精度評価の仕組み導入(QAデータセットによる自動評価) - [ ] 複数ドキュメント対応 - [ ] Web UI化(FastAPI) - [ ] AWS上へのデプロイ --- ### 技術スタック(実装済み) * **バックエンド:** Python, FastAPI * **AI/LLM:** LangChain, RAG, Claude API (Claude Haiku 4.5), OpenAI Embeddings (text-embedding-3-small) * **ベクトルDB:** ChromaDB * **テスト/CI:** pytest, GitHub Actions ### 技術スタック(今後予定) * **Web UI:** FastAPI * **インフラ/DevOps:** Docker, AWS (ECS, S3) --- ### 精度評価の取り組み 261ページの公開PDF(大学のPython教材)を対象に25問のQAデータセットを自作し、正解率・検索ヒット率を自動計測する評価基盤を構築しました。 埋め込みモデルの比較検証を行い、実測データに基づいて正解率76%→96%への改善を達成。 さらに、唯一残った不正解1問について、パラメータを総当たりする前に根拠チャンクの検索順位を特定する診断を行い、原因(top_kの不足)を突き止めた上でtop_k=8を採用し正解率100%を達成しました。 選定理由はリポジトリ内に文書化しています。 評価の過程では判定ロジックの正規化やキャッシュのバグ修正も行い、「測定自体の信頼性」にもこだわっています。 ### 今後の展望 複数ドキュメント対応や、pytestで固定化した回帰テストの拡充でさらに品質を高め、最終的にはFastAPIによるWeb UI化とAWS上へのデプロイを目指しています。 https://github.com/nd-3/llm_learning_journey