ID:9284さん

## 行ったこと 社内サンドボックス検査基盤への検査エンジン追加の技術リーダー ## 規模 複数のBtoBサービスより利用されるサンドボックスエンジン基盤があり 業界シェアが高い弊社のクラウド型のメールセキュリティやWebゲートウェイセキュリティのオプションとして提供している システムは他社製品のエンジンとそれを利用する内製の 検査リクエストを受け付けるWebAPI,ジョブシステムから構成されており 担当部署が別れています。 私が担当したのはエンジン部分で エンジンを動かすサーバーの構成管理から 既存のシステムとの連携の部分の実装 エンジンの運用のためのexporter 作成からdashboardの作成 などを担当しました また、この更新プロジェクトが成功したことで、更に追加のエンジン追加が計画され そちらでは新人3名を引き連れて対応しました。 人員規模は 企画・主幹業務2名 エンジン技術チーム3名(内インフラ担当1名) + 第二回では ここに新人3名追加 WebAPI・ジョブシステム技術チーム2名 利用サービス側担当者1名 ## 行ったこと ■技術検証と基本設計をしていた前任者が解決できていなかったトラブルの調査と解決 ■実運用に向けて細かいワークフローの整備 ■prometheusとgrafanaを利用したダッシュボードの作成 ■k8sを利用したシステム構成の簡略化 ### 解決できたこと - node_exporter を利用したモニタリングにより、ベンチマークテスト中にメモリ不足になりコンテナが破棄されてたことを発見 - ネットワーク的な構成が不適切で、エンジンが追加データフィードの受信に失敗していたことを発見 - ベンダー側技術者とのトラブルシューティング - node_exporterのtextfile collectorを利用した簡易的なexporterを投入することによるgrafana dashboardの導入 - 実運用に向け、データの連携部分を追加改修したりデプロイのためのansible や gitlab ciの導入 - k8s を利用して連携部分の動かしたことで、運用や構成の負荷軽減 ### 努力した点 - 基本設計がされていたとはいえ、数ヶ月で前任者から巻取り、ベンダー側の技術者と協力しながら未解決だった不具合についての調査を行い、数ヶ月で本番環境構築と、実運用投入までを行ったこと - トラブルが発生したたび、状況を記録したうえで、切り分けを行い改善させていったこと - 今やるべきことを自分で考えて行動し、チームメンバーと分担しながら進められたこと

### はじめに * セキュリティ系アプライアンスマネージドサービスのシステム開発に従事しています。 * IPS/IDS, MFW, DDoS対策機器 など対象の機器ごとにサービスが別れています。 * サービスごとに運用、サポート、企画など開発上連携する担当者が異なります。 *10~20年ぐらい続いているサービスも有るため、歴史的経緯などもあり、同じふるまいを期待されているシステムでも、動きが少しずつ異なっています。 * それらに対しての新機能、不具合修正などの追加改修や、ホストの構成管理、トラブル発生時技術的な支援を行うのが私のタスクになります。 ### サービス内での分担部分 * システム開発主担当として以下を行っています。 * 既存システムへの追加改修 * 顧客要望の対応や、新機能提供のための改修(既存の振る舞いの調整や扱うデータの追加) * マネージドで提供しているアプライアンスのバージョンアップに関する修正 * その他、運用目線での修正依頼などの対応 * 一例 * サービスごとのWebポータル (お客様が利用実績などを確認できるもの, 社内エンジニアが利用する管理用のものなど) * 社内ログ解析システム(お客様のログを解析統計処理するもの) * 社内ログ解析システムの結果を利用したレポート(Web,PDF) * Itamae を利用した Infrastructure as Code 的な振る舞い * 一部ソフトウェアについてはrpmのbuildから行っている再現性のある構成管理 * 運用実態にあわせたファイルごとのライフサイクルの管理 (iptables は networkチームが 更新しやすいように...など) * 設定ファイルのテンプレート化 * サービスホストに関するメンテナンスについて手順書のレビュー * 既存システムの不具合発生時に調査から修正、修正箇所の検証方法の例示 * 顧客情報など設定値の入力不備や、作業ミス、システム側の考慮漏れなど雑多なシステムに関する問い合わせ対応 ### 規模感 * サービス * 3-4 * 関係しているホスト数 　* 役割ごとに台数が変化しますが 各サービス大体10-50ホスト