ID:81206さん

# 経験プロジェクト ## はじめに 閲覧いただきありがとうございます。 私は現在データサイエンティストとして仕事をしています 担当してきたプロジェクト数は2025年12月現在で20件あります。 量が多く、全て記載することはできないため、詳細な業務の記載はPLとして仕事を担当したものに絞って記載をしています。 ## メール監査AIモデル作成 2024年9月 ~ 2025年12月現在まで、15か月 役割: 作業メンバーまたはプロジェクトリーダー チーム: 3名 Python: numpy, pandas, matplotlib, seaborn, scipy, scikit-learn, pypff,plotly ML: SVM、LightGBM、ロジスティック回帰、IsolationForest、文章ベクトル化（SentenceTransformer など） 統計: 検定、分布の可視化、ECDF、相関分析 実装: Python アプリケーション化、手順書・再現環境構築、テストコード作成 ### <プロジェクト概要> 監査上の不正メールを検出する AI モデルを新規作成し、顧客のメール審査業務の効率化を実現。 担当初期は PM 配下で解析業務を担当。2025 年 7 月より PL として、 要件定義 → 工数管理 → 前処理/特徴量作成 → モデル作成・チューニング → 評価 → 導入 → テスト/リリース まで一貫してリード。 #### PLとしての実績 大手証券会社 2件（2案件3モデル）にて 要件定義〜リリースまで全工程を単独でリードし納品 #### 作業メンバーとしての実績 メガバンク2件(8案件14モデル) 大手食品会社1件(2案件3モデル) メガバンク系列会社6件(8案件8モデル) 計11件(20案件27モデル) 以降の記載はPLで担当した業務に絞って記載 ### < 担当工程>: ・プロジェクト管理 ・データ準備 ・データ前処理 ・AIモデル作成 ・精度算出 ・顧客調整 ・解析結果資料作成 ・顧客への解析結果報告 ・実装手順書作成 ・AIモデル実装 以下にこれら工程の詳細な業務を記載 ### <担当業務>: #### ■ プロジェクト管理 **使用技術／スキル：** ・WBS作成 ・Backlog / Excel / Planner による進捗管理 ・定例会議運営（アジェンダ設計・会議ファシリテーション） プロジェクト全体スケジュールを策定し、納期に合わせて工程を逆算して工数を割り当て。 リスク要因の事前洗い出しと対策案を WBS に統合し、スケジュール遅延を最小化。 #### ■ データ準備 **使用技術／スキル：** ・pandas（データ整形） ・numpy（高速処理） ・pypff（PSTメール解析） ・OCR（画像メールの文字起こし） ・正規表現（テキストクレンジング） 顧客ごとに異なるデータ形式を共通スキーマへ変換。 巨大 PST から本文・HTML・添付情報を抽出し、解析用に正規化。 #### ■ データ前処理 **使用技術／スキル：** ・pandas / numpy（データ整形） ・BeautifulSoup（HTMLタグ除去） ・正規表現（表記揺れ・改行の統一） ・ストップワード処理・トークナイズ メール本文で発生しやすい “異常改行”“HTML残り”“Teams の変則メンション” を補正する独自前処理を構築。 解析工数を 20〜30% 削減する自動化パイプラインを作成。 #### ■ AIモデル作成 **使用技術／スキル：** ・scikit-learn（SVM, LightGBM, ロジスティック回帰） ・SentenceTransformer（E5, BGE など） ・Optuna（ハイパーパラメータ調整） ・IsolationForest（異常検知） ・scipy / 統計学（特徴量検定、閾値決定） 会社標準モデルに加え、比較検証として SVM / LightGBM / SentenceTransformer など複数手法を実施。 精度・可読性・業務適合性の観点から最適モデルを選定し、顧客へ根拠を提示した。 #### ■ 精度算出 **使用技術／スキル：** ・Precision、Recall、ROC ・scikit-learn（評価指標算出） ・ECDF（累積分布による閾値最適化） ・しきい値ロジック（閾値調整・業務要件に合わせた最適化） 黒データの総量が不明な場合、顧客と合意した精度指標を設計。 テストデータが不足する案件では、顧客と共同でテストデータ作成フローを構築。 #### ■ 顧客調整 **使用技術／スキル：** ・コミュニケーションスキル（論理的説明、メール文作成、根拠提示） ・Excel / PowerPoint を用いた説明資料作成 ・精度指標（Precision, Recall等）の業務適用説明 #### ■ 解析結果資料作成 **使用技術／スキル：** ・Python：matplotlib / seaborn（可視化） ・pandas（集計・統計量算出） ・PowerPoint（成果物作成） ・統計学（分布、相関、仮説検定） 数値だけでなく、ヒストグラム・棒グラフ・散布図などを活用し、業務者が理解しやすい形で分析結果を整理。 危険度の高いパターンや特徴を抽出・可視化し、モデル改善案まで含めて資料化。 #### ■ 顧客への解析結果報告 **使用技術／スキル：** ・プレゼンテーションスキル ・ストーリーテリング（課題→分析→改善案） ・説明可能なAI（根拠となる特徴量説明） モデルがなぜその判定を下したかを “業務に合った言葉” で説明し、顧客理解を促進。 報告会ではデータ根拠に基づく意思決定を支援。 #### ■ 実装手順書作成 **使用技術／スキル：** ・モデル実装〜出力形式までのフローチャート ・タイムスケジュール作成 ・エラーケース一覧（文字コード・巨大データ・Null 対応など） 顧客側でも再現可能な形で手順書を作成し、モデルの導入障壁を下げた。 実装工程で想定されるトラブルを事前にまとめてリスク低減。 #### ■ AIモデル実装 **使用技術／スキル：** ・Python（pickle 化、実行スクリプト作成） ・pandas（運用時の入力データ受け渡し基盤） ・Linuxコマンド ### <工夫したこと> #### ■ コミュニケーション ・顧客との密な連携により、精度指標の合意形成 　→モデルの “わかりやすい説明” を実現 ・報告会の先回り進行 #### ■ プロジェクト管理 ・WBS 作成、リスク洗い出し、遅延時の事前説明 ・モデル実装〜検証工程までの所要時間を標準化し、工数のブレを削減 #### ■ データ分析 業務理解に基づく特徴量設計 数値重視ではなく「業務で本当に検出すべきデータ」を優先し、説明可能性を高めた #### ■ 精度算出 データの制約（黒データ数不明など）に合わせて指標選定 運用可能な精度算出方法を顧客と共に構築

## AIモデル作成のための新規データ検出AIモデルの設計・作成 期間：2025年1月 ~ 2025年12月（11か月） 役割：プロジェクトリーダー チーム規模：2名 **使用技術／スキル：** Python：numpy、pandas、matplotlib、seaborn ML：SentenceTransformer（E5/BGE）、scikit-learn（クラスタリング・類似度計算）、異常度スコアリング 統計：分布分析、相関分析、しきい値設計、ECDF その他：正規表現、可視化、業務要件ヒアリング、モデル設計ドキュメント作成 ### <プロジェクト概要> 既存の会社標準モデルでは検出が困難だった “新規データ” に対応するため、 アルゴリズムの再検討からモデル設計・検証までを担当。 PL として 要件定義・設計・実装・検証・資料作成まで全工程を主導。 SentenceTransformer による埋め込み表現を活用し、 単純な表面一致では捉えづらい 意味的な類似度ベースの探索モデル を開発。 ### 担当工程 ・要件定義 ・モデル設計 ・データ準備 ・データ前処理 ・モデル検証 ・解析資料作成 #### 担当業務: #### ■ 要件定義 **使用技術／スキル：** ・業務フロー整理 ・精度要件・評価方法の定義 ・モデルの目的・制約条件の明確化 ・類似度モデルに必要なデータ仕様の策定 「既存モデルが検出できていない理由」を分析し、課題構造を整理。 顧客業務に必要な出力形式・精度要件・探索範囲を定義。 #### ■ モデル設計 **使用技術／スキル：** ・SentenceTransformer（E5/BGE など） ・コサイン類似度 ・統計的スコアリング（分布・閾値設計） ・sklearn（次元圧縮・距離計算など） 埋め込みベクトルを採用し「意味的な類似度」を捉える設計を採用。 表記ゆれ・単語差異にも反応できるよう、ベクトル処理方式を再設計。 ベクトル類似度 × 統計スコアのハイブリッド方式で安定した判定を可能にした。 #### ■ データ準備 **使用技術／スキル：** ・numpy ・pandas ・正規表現 元データから不要情報を排除し、特徴量生成に適した形式に統一。 文書のクリーニング（改行、特殊文字、ノイズ除去）を自動化。 #### ■ データ前処理 **使用技術／スキル：** ・ pandas ・正規表現 ・SentenceTransformer SentenceTransformer に入力するための 正規化・クリーニングパイプライン を構築。 解析中に発生しうる例外（空文、極端に長い文、エンコード不整合）への対応を実装し、信頼性を担保。 #### ■ モデル検証 **使用技術／スキル：** ・scikit-learn（類似度計算、距離ベース評価） ・ECDF（統計的閾値決定） ・可視化（matplotlib、seaborn、plotly） ベクトル分布を統計的に解析し、適切なしきい値を設定。 既存モデルとの比較検証を実施し、表記ゆれ・別表現に対する検出性能が向上していることを確認。 テストデータに「似ているが単語の異なる文」を含め、意味類似の評価を実施。 #### ■ 解析資料作成 **使用技術／スキル：** ・matplotlib / seaborn（分布可視化） ・pandas（統計量・特徴抽出） ・PowerPoint（報告資料） ベクトル分布、類似度スコア、検出例などを可視化し、モデル採用の根拠を資料化。 既存モデルとの差分、改善ポイント、統計的裏付けを明確に提示。 ### 工夫したこと: #### ■ 設計思想 SentenceTransformer を用い、データの意味を捉える “意味類似度モデル” を構築。 表面一致では検出できないデータにも反応できるよう、ベクトル空間での距離計算を採用。 類似度の解釈を容易にするため、統計的に意味のあるスコア設計を行った。 ##### ■ 解析の工夫 ベクトル生成後、分布・外れ値・局所構造を統計学的に分析し、スコアの安定性を確保。 解析処理中のエラー処理・例外対応をモデル内に組み込み、運用時の信頼性を高めた。 #### ■ 検証方法 テストデータに「単語は違うが意味が近い文」を意図的に作成し、 意味ベースの検出性能が既存モデルを上回ることを実証。 しきい値の違いによる再現率・適合率の変動を可視化し、最適な運用設定を提案。

## 解析業務効率化のためのコード作成・実装 期間：2024年9月 ~ 2025年3月（6か月）＋ 継続改修 役割：開発（個人開発） チーム規模：1名（全工程を単独で実行） **使用技術／スキル：** ・Python： numpy、pandas、matplotlib、plotly ・ML： scikit-learn、UMAP、doc2vec（特徴量生成・可視化） ・その他： 正規表現、例外処理設計、Excel出力（pandas/ openpyxl） ### <プロジェクト概要> 解析業務のうち 最も工数を要する「前処理・特徴量生成・グラフ作成・Excel出力」 を自動化するコードを新規開発。 社内環境に実装し、複数のメンバーが日常的に利用する基盤となっている。 2025年3月に1度完成版をリリースし、その後もエラー対応・追加機能実装・仕様変更対応 を継続的に担当。 ### <担当工程> ・コード作成 ・コード修正 ・テスト ・実装 ### <担当業務> #### ■ コード作成（新規開発） **使用技術／スキル：** ・numpy / pandas（前処理・集計の高速化） ・doc2vec / UMAP（特徴量生成・可視化） ・matplotlib / plotly（可視化グラフ作成） ・scikit-learn（前処理パイプライン、モデル補助処理） 前処理 → 特徴量生成 → 解析 → グラフ生成 → Excel 出力 を 1本のスクリプトで完結できる自動処理パイプライン を構築。 多様なデータ形式に対応できるよう、柔軟なパラメータ設計を採用。 毎回手作業で20〜30分かかっていた処理を 数十秒〜数分に短縮。 #### ■ コード修正（改良・追加開発） **使用技術／スキル：** ・例外処理（try-except）、ログ出力 ・正規表現、エラーハンドリング ・動的設定管理（パラメータ自動保存） エラーの再現性を高めるため 内部ログ/エラーメッセージを標準化。 不正なデータや未入力の設定に対して誤出力しないよう、 事前バリデーション（入力チェック）機能 を実装。 追加機能の依頼に応じて、 グラフ種別・出力形式の選択、詳細ログ出力、前処理内容の保存 などを拡張。 #### ■ テスト **使用技術／スキル：** ・単体テスト（pytest 相当の手動/自動検証） ・バグ再現テスト ・再現性検証（同データ→同結果の保証） 多パターンのデータ形式でテストを行い、例外ケースもすべて吸収。 複数環境で動作確認を行い、依存ライブラリの相性問題を解決。 #### ■ 実装（社内展開） **使用技術／スキル：** ・Git / Pull Request ・社内実行環境へのデプロイ ・完成したコードをプルリクとして提出し、レビュー後に社内へ実装。 ・複数メンバーの利用を想定し、設定ファイル化・エラーメッセージ統一・ログ保存 など運用性を高める措置を実施。 ### <実績> ・1解析あたり 20分の工数削減 ・1案件で 20解析以上 実施 → 最低でも 400分（6.7時間）削減 ・毎月複数案件で利用されるため、年間で数百時間規模の工数削減を実現 ・社内メンバーが多数利用する “標準ツール” として定着 ### <工夫したこと> #### ■ 内部処理（例外処理・安全性の担保） ・データ不備・欠損・型の不一致などのケースで必ず明示的なエラーを返すように構造化。 ・誤った結果が出力されないよう、途中工程ごとのチェックポイントを自動挿入。 ・ログを残すことで、原因追跡が容易に。 #### ■ 変数・パラメータ設計 ・出力形式（Excel / CSV / 図表など）を自由に変更できるよう、汎用的なパラメータ体系 を設計。 ・前処理結果・ベクトル・特徴量などを自動保存し、再現性のある解析フロー を実現。 ・データの種類に応じて、前処理・解析方法を動的に切り替える設計。