Hiro_Taku

【機器構成】 NEC ExpressServer 50台 fujitsu OYX-1 Server 50台 Cisco Catalyst3750 Switch 50台 Alied Telesis 8台 ＜サーバー・OS＞ Solaris8,10/RHEL6/CentOS/HP-UX ＜DB＞ ORACLE ＜NW＞ Cisco Catalyst3750/Alied Telesis ＜ポジション＞ サブリーダ兼メンバー ＜規模・人数＞ 要員数：5名（PJ全体：30人） 【プロジェクトの概要】 ・防衛省の艦艇武器システムの開発環境におけるサーバやNW機器の運用・保守整備 ・プログラム開発やテスト時に不具合が生起した場合に、インフラかアプリ側のどちらに起因する問題なのか調査を実施 【業務内容１】 ・概要：サーバーの稼働状況確認及びログ監視、チューニング ・課題：Zabbixなどのリソース監視ツールを導入していなかったので、CPU・メモリ・ハードディスクの使用率を監視する別の方法を探す必要があった。 ・工夫： ➀自動監視を行うBashシェルスクリプトを使用 ➁各リソースの使用率のしきい値を80％に設定し、しきい値を超えたリソースに関して、エラーログが出力されるといった内容 ・課題解決：不具合が生起したサーバの原因が何によるものなのかログを確認することで限定し、処置が可能となった。 【業務内容２】 ・概要：サーバ月次バックアップ（バックアップデータからの復旧後、各種パラメータ変更） ・課題：サーバOSが起動できない時に、復元用のバックアップデータが存在せず事前に取得する必要があった。 ・工夫： ➀バックアップ取得を忘れないようにサーバ導入時、AcronisやMondoRescueといった各社が提供しているツールを活用し、バックアップの取得の徹底 ➁各NICに関連付けられている/etc/sysconfig/networkscripts/配下の設定ファイルおよび/etc/hostnameのパラメータ変更 ・課題解決：意図しないサーバの不具合に対し、迅速に復旧を実施することができ、システム運用に影響を最小限に留めることができた。 【業務内容３】 ・概要：障害発生時の対応（障害の切り分け、原因調査、物品請求、復旧作業） ・課題：どこのレイヤーで生起している障害なのかの切り分けが困難であり、システムを正常時に戻すまでに時間を要した。 ・工夫： ➀OSI参照の上位レイヤであるアプリケーション層から原因調査を実施し、不具合が生起しているアプリケーションが動いている基盤のサーバが正常に動作しているか（top,ps -ef,systemctl statusコマンド）、またそのサーバとの通信先において正常な通信ができているのか(ping,tracerouteコマンド)確認 ➁サブリーダーとしてのマネジメント：システムの不具合時に現状でできる機能の洗い出しや縮退運用、故障復旧へのプロセスをメンバー全体に指示を行い、システム運用の継続に貢献した。 ・課題解決：生起した不具合を探求し、システム運用への影響範囲を限定することで、実際の運用を止めることなく、継続させることができた。 【業務内容４】 ・概要：運用マニュアルの作成（システム起動停止、よくある不具合の処置） ・課題：メンバーの入れ替えが多い時に、不具合生起時に誰であってもシステムの不具合から復旧作業を可能にする必要があった。 ・工夫：マニュアルの作成にあたって、文字だけの説明だと理解が困難なので、図や写真を用いて、文字の説明とリンクさせるように作成 ・課題解決：故障が発生した場合においてもスムーズなシステム運用に戻せるように不具合時の運用マニュアルを作成し、MTTRの縮小に貢献出来ました。

＜サーバー・OS＞ RHEL7/9, Windows Server 2012/2022 ＜DB＞ ORACLE12c/19c ＜ツール＞ TeraTerm, DeepSecurity, Zabbix,JP1 ＜ポジション＞ PMO ＜規模・人数＞ PJ全体：30人 【作業内容１】 ・概要：backlogでの各PJの進捗管理補佐 ・課題：各協力会社からの課題数が多く、現在の状況が把握できていない。 ・工夫： ➀PMやPLとの相談を実施し、期限が近い課題や緊急度が高い課題を優先的に処理するようナンバリング及び課題から不明点を洗い出し、各協力会社へ順次課題への回答を実施 ➁レスポンスが遅い課題に関して、複数回こちらから状況確認を行い、進捗について逐一確認を実施 ・課題解決：設計・構築フェーズの段階であるが、今のところPJ全体に大きな遅延は発生していない。 【作業内容２】 ・概要：DeepSecurityを使用したセキュリティ設計（不正プログラム対策、変更監視、セキュリティログ監視、FW機能を使用した多層防御設計） ・課題：社内監査からの指摘の是正やサーバ更改においてリプレース後のサーバに対して、セキュリティ対策を講じる必要がある。 ・工夫： ➀DeepSecurityの各機能において、どんな脆弱性に対する対抗策になりうるのかをTrendMicro社のWeb資料を参考にしつつ、それでも不明点が出てきた場合において、TrendMicro社への問い合わせを実施し、設計指針の決定 ➁各サーバ内リソースの過度な使用を避けるために、監視すべき対象のプログラムやディレクトリ、該当ファイルに関して事前調査を行い、カスタムルールやポリシーの作成を実施 ➂FWルール設計の際に、厳格な設計（明示的に許可されたトラフィックのみ通信が可能な設計）を採用し、外部からの不正アクセスをブロックするよう設計 ・課題解決：社内監査での指摘是正及びセキュリティ面での改善 【作業内容４】 ・概要：SSL証明書更新作業 ・課題：Webサーバ内のSSL証明書の有効期限が切れる前に更新して、HTTPS通信の継続を実施 ・工夫： ➀opensslコマンドに関する知見がなかったので、Webから必要となるオプションも含めて、疑問点の払拭 ➁実際の作業時、中間・SSL・秘密鍵ファイルの拡張子が.txtとなっていたため、削除し、格納先へ格納 ・課題解決：実運用に支障なく、SSL証明書更新を実施し、HTTPS通信確認も完了することが出来た。 【作業内容５】 ・概要：DB統計情報の自動更新シェルスクリプトの作成 ・課題：DBテーブルの統計情報のデータが古く抽出処理に時間がかかってしまっていたので、テーブル内の統計情報を自動更新し、抽出にかかる時間の短縮化を図りたい。 ・工夫： ➀SQLでの統計情報更新するためのコマンドをBashシェルスクリプト及びcronにて、自動更新ができるように作成 ➁シェルの実行に関して、タイムアウト処理を実装（timeoutコマンド） ➂出力されるログの自動ローテーション機能の実装（find -mtime +90 コマンド | xargs rm -f） ・課題解決：データ抽出にかかる時間が短縮化される結果となった。 【作業内容６】 ・概要：社内システムと外部連携先とのバッチ処理の調査 ・課題：現行の社内資料において、通信先やバッチ処理に関する不明点の洗い出し ・工夫： ➀現行の資料を参考にして、バッチ処理を管理するJP1やcron設定の確認 ➁各サーバ内の/var/log/xferlog及びバッチサーバ内の実行ファイルを調査し、またその実行ファイルが出力するログファイルの確認を実施 ・課題解決：社内システムのバッチ処理やファイル送受信の根拠を明確化することで、システム運用時の不具合原因の局所化を図ることが出来た。 【作業内容７】 ・概要：WindowsServer2022 踏み台サーバの構築（RDSユーザCAL追加設定、ユーザ登録、ライセンス認証） ・課題：サーバ更改PJの構築フェーズにおいて、後続作業を踏み台サーバ経由で行えるよう、事前に構築 ・工夫： ➀RDSの機能はインストールされていたが、RDS管理ツールがインストールされていなかったためCAL追加が出来ずにいたが、MicrosoftのWebページにて、調査し、インストールを実行することが出来た。 ➁RDSユーザCAL追加後、RDライセンスサーバとRDセッションホストサーバ間にて疎通が取れておらず、原因調査したところ、RDライセンスサーバの指定をホスト名ではなく、IPアドレスに変更することで、エラーが解消された。 ・課題解決：後続の構築作業において、複数ユーザを使用した環境を構築することが出来た。