2-4 サービス再起動ポリシーは無人状態でも安全であること
遠隔拠点や無人環境では、サービス停止時に即座の人的対応が期待できない。そのため、多くのシステムでは自動再起動が設定される。しかし、再起動ポリシーの設計を誤ると、無限再起動ループやリソース枯渇といった二次障害を引き起こし、かえって復旧を困難にする。
本節では、無人運用を前提としたサービス再起動ポリシーの考え方と、再起動回数・監視・アラート設計まで含めた実践的な設計指針を整理する。
1. 再起動ポリシーの基本と落とし穴
systemd やコンテナランタイムなど、多くの基盤には「異常終了時に自動で再起動する」仕組みが備わっている。これは一時的な障害に対して有効だが、以下のようなケースでは危険側に倒れる。
・即時終了するプロセスに対して無条件再起動を設定している
・依存サービスの未起動など、構成上の問題が解消されないまま再起動を繰り返す
・再起動間隔や回数の上限が未定義
このような状態では、
・起動 → 即失敗 → 再起動
が高速で繰り返され、CPU 使用率の上昇、ログ肥大化、ストレージ消費といった形で障害が拡大する。無人環境ではこれが長時間継続しやすく、発見が遅れる点が特に問題となる。
したがって、自動再起動は「有効化するかどうか」ではなく、どの条件で、どこまで許容するかを明示的に設計する必要がある。
2. 再起動回数の目安
無人環境では、再起動を無制限に許可すべきではない。実運用上の目安としては以下が妥当である。
短時間バースト抑止
即死ループを防ぐための制御。
・通常：3回 / 10分
・最大でも：5回 / 30分
3回連続で起動に失敗する場合、一過性の障害ではなく、構成不備や依存関係の問題である可能性が高い。5回を超えて再起動を継続する設計は、無限ループによるリソース枯渇を招きやすく推奨されない。
日次トータル回数
短時間制限だけでは、1日の中で断続的に再起動が繰り返されるケースを防げない。そこで、日次単位での総再起動回数も指標として扱う。
目安：
・1日あたり5回超：要調査
・1日あたり10回超：障害扱い
無人環境において、1日に10回も再起動している状態は「動いてはいるが正常ではない」状態であり、設計またはリソースに問題がある可能性が高い。
週次トレンド
さらに、週次レベルでの傾向を見ることで、潜在的な構造問題を検出できる。
目安：
・週15〜20回以上の再起動
この水準に達した場合は、
・リソース不足
・ネットワークの不安定性
・ストレージやハードウェアの劣化
・設定不備
といった慢性的要因を疑うべきである。
単発の再起動ではなく、時間軸での累積回数を指標として扱うことが、無人運用における重要な設計ポイントとなる。
3. スケジューリングは監視サーバー側で集中管理する
再起動回数の集計や状態確認を各サーバーの cron に任せると、
・設定の分散
・実行タイミングのばらつき
・障害ノード上では処理自体が動かない
といった問題が発生しやすい。
特に無人環境では、監視対象ノードそのものが不安定になる可能性があるため、対象ノード上の cron に依存した設計は信頼性の面で弱い。
そのため、
・実行スケジュールは監視サーバー側で集中管理
・SSH やエージェント経由で各ノードの状態を取得
・ログやメトリクスは中央に集約
といった構成が望ましい。
これにより、
・実行時刻の一元管理
・ログ・再起動回数の集中管理
・障害ノードに依存しない監視処理
が可能となり、長期無人運用における可観測性と保守性を大きく向上させられる。
4. アラート設計の考え方
無人環境における再起動監視では、単一のしきい値ではなく、時間軸ごとに役割の異なるアラートを設計することが重要である。
短時間アラート（即時系）
・例：3回/10分、5回/30分
・無限ループや即死障害の検出
・即時通知（Critical）
日次アラート（慢性障害）
・例：1日5回超で Warning、10回超で Critical
・潜在障害の検出
・メールやチケット連携向き
週次レビュー（トレンド）
・再起動回数の推移を可視化
・構成不備やリソース不足の洗い出し
さらに、単なる回数だけでなく、
・Running → Restarting → Failed
といったサービス状態の遷移も合わせて監視することで、より精度の高い障害検知が可能となる。
単発イベントではなく、再起動頻度と状態変化を組み合わせて評価することが、無人運用における実用的なアラート設計となる。
まとめ
無人環境における自動再起動は可用性向上に寄与する一方、無制限・無条件な再起動は重大な二次障害を招きうる。
そのため、
・再起動条件の明確化
・短期・日次・週次それぞれの回数制御
・監視サーバーによる集中管理
・再起動頻度と状態遷移を組み合わせたアラート設計
といった多層的な設計が重要となる。
単に「止まったら再起動する」のではなく、再起動というイベントを運用シグナルとして扱うことが、無人運用における安定性と可観測性を大きく左右する。
本項で述べた設計はあくまで一例であり、実際にはサービス特性や拠点条件に応じて調整が必要となる。
本記事の内容は、次項目に対応します。
Link:IT infrastructure system operation for remote areas（遠隔地向け IT インフラ運用）
2-4 Service restart policies are safe under unattended conditions
(サービス再起動ポリシーは無人状態でも安全であること)
アイキャッチ画像: Image by Freepik (https://www.freepik.com)
