ID:65325さん

# プロジェクト概要 就職活動における面接や自己PR動画の書き起こしから、特徴的な発言（面接官の質問内容や学生へのアピール、学生の強みや経験など）を抽出しラベリングするモデルの構築・改善でのLLM（プロプライエタリLLM）活用。 # 取り組んだ課題 これまでBERT-CRFベースの系列ラベリングモデルで運用していたが、LLMを活用することで精度向上が図れないかを様々なアプローチで検証。 ## プロンプトエンジニアリング LLMによる系列ラベリングの検証。 通常の系列ラベリングで利用される表記形式（BIOやBMESなど）はLLMとの相性が悪く、該当箇所を特定の記号で囲う方式などいくつかのアプローチでのプロンプティングを検証。 ## LLMを利用した希少ラベルデータの効率的な収集 ラベルによっては実データでの出現が稀なラベルがあり、十分な量の教師データが集まらず、BERT-CRFモデルやLLMの学習において当該ラベルの精度が不十分なものがあった。 ### 擬似データ生成 LLMで希少ラベルの擬似データを生成し、学習に利用、精度向上が可能か検証。 ### 効率的なアノテーションデータ収集 弱いモデル（LLMのプロンプティング）で希少ラベルが含まれると思われるデータを収集しアノテーションすることで希少ラベルの正解データ収集を効率化する検証。 ## many-shot検討 ロングコンテキストに対応したLLMに対し、多くの正解事例をコンテキストに入れることによる精度と運用コストの検証。 ## ファインチューニング検討 プロンプティングによる検証では、入力テキストを改変したりフォーマットに従わなかったりといった困難が発生したため、ファインチューニングでのタスク特化LLMの構築検証。 ## BERT-CRFモデルとLLMのアンサンブル BERT-CRFとLLMの系列ラベリング結果を統合し、精度向上を図れるかの検証。 検証データのGoldラベルとそれぞれのモデルのラベリング傾向を分析し、最終的に採用する出力をルール化。 # 取り組みの成果 これまでのモデルからの精度向上を実現し、運用中のモデルの切り替えを実現した。