ID:82658さん

　AIエージェントがWindows上のGUIアプリケーションを自律操作できるMCPサーバー「helix-pilot」を個人で企画から設計、実装、テスト、CI構築まで一貫して担当しました。 　本プロジェクトでは、Model Context Protocolに準拠した15種のツールを実装しています。画面のスクリーンショット取得、座標指定によるクリック操作、Unicode対応のテキスト入力、キーボードショートカット送信、マウスホイール操作といった基本的なGUI操作に加え、OllamaのVision LLMと連携した画面解析機能を実装しました。画面キャプチャをBase64エンコードしてVisionモデルに送信し、UI要素の検出や画面状態の検証を行います。さらに、自然言語の指示から複数ステップのGUI操作を自動計画・実行するautoツールや、ブラウザ特化のフォーム操作ツールも開発しました。 　アーキテクチャ面では、FastMCPフレームワーク上にLazy Singletonパターンでコアエンジンを構築し、複数のツール呼び出しで状態を効率的に保持する設計にしています。Windows Per-Monitor DPI Aware v2に対応し、4K解像度環境でも正確な座標変換を実現しました。 　セキュリティ設計にも注力し、Action Contractパターンによるポリシーエンジンを実装しています。読み取り専用操作と変更操作を明確に区分し、サイトごとのアクセスポリシー制御、シークレットパターンの検出によるパスワード等の誤入力防止、pynputによるユーザー活動監視でAI操作中の人間介入を検出して一時停止する安全機構を備えています。 　技術スタックはPython、FastMCP、httpx、PyAutoGUI、PyGetWindow、Pillow、NumPyで構成し、テストはpytest、リンターはruffを使用しています。GitHub ActionsでWindowsとLinuxの両環境でCI（構文チェックとテスト実行、ruffリント）を構築しました。Claude Code、Codex CLI、Open WebUI（MCPO経由）の3つのAIクライアントから利用可能な設計で、MITライセンスのOSSとして公開しています。