GKEでGemini 4 Argon Agentを運用：Startup Boostと接続ドレインによる冷起動遅延の解決策

はじめに：ステートフルなLLMエージェントとK8sのスケーリング矛盾

従来のWebアプリケーションは、コンテナ起動後に数秒でReady状態に移行し、リクエストを捌き始める。一方、LLMエージェントは状況が根本的に異なる。モデルのロード、KV Cacheの確保、セッション状態の復元といった初期化処理が数分単位で発生し、Podがスケジューラに割り当てられてから実際にトラフィックを処理できるまでには、実質的な「起動遅延」が生じる。

KubernetesのHorizontal Pod Autoscaler（HPA）は、CPUやメモリなどのリソース使用率がしきい値を超えた際にPod数を増やす。しかし、スケールアウトされた新規PodがReadyになるまでの間、Serviceは既存のReadyなPodにのみトラフィックを振り分ける。つまり、負荷が急増した直後は既存Podが過負荷になり、新規PodがReadyになるまで待たされるという「スケーリングの谷」が発生する。この谷がユーザー体験のレイテンシーとして現れることがある。

さらに厄介なのは、スケールイン時のConnection Drainingとの相互作用である。エージェントがメモリ上にセッション状態を保持している場合、Draining中のリクエスト切断はセッションの破綻を招く可能性がある。本記事では、GKEのVPA CPU Startup BoostとConnection Drainingを組み合わせることで、この「起動遅延」と「接続割り当て」の課題に対処する設計パターンを、具体的なマニフェスト設定とともに示す。

前提知識：Gemini 4 Argon Agentの特性とリソース要件

Gemini 4 Argonは、入力と出力を含む統合トークン制限として1,048,576トークンをサポートし、GenerateContent APIで最大1,048,576トークンの出力が可能である（Gemini 4 Argon ドキュメント）。この規模のコンテキストウィンドウを扱う際、KV Cacheのメモリ帯域幅と、トークン生成時のCPUバースト性能が推論レイテンシーに影響を与える。単にCPUコア数を増やせばよいという話ではなく、メモリ容量とI/O性能が設計の鍵となる。

GKE Autopilot環境では、CPU-to-memory比の検証が行われ、一般用途プラットフォームではvCPUあたり1 GiB〜8 GiBのメモリが要求される（GKEでのGemini 4 Argon Agentスケーリング記事）。エージェントのセッション状態をメモリ上に保持する場合、この制約が起動時のメモリ使用量と衝突し得る。具体的には、モデルロード時にメモリ使用量が急騰し、Autopilotの比率検証に引っかかる可能性が生まれる。

通常のDeploymentでは、resources.requestsが固定値として設定される。起動時の高いCPU需要に対応しようとrequestsを大きくすると、通常運用時のコストが増加する可能性がある。逆に小さく設定すると、スケジューラがノードに配置できないか、配置されてもCPU Throttlingによりモデルロードが大幅に遅延し、OOMKilledのリスクも伴う。この「起動時」と「定常時」のリソース需要の乖離をどう吸収するかが、本記事の核心である。

課題：冷たい起動と接続ドレインが交差するタイミングの罠

GKEでPodをスケールアウトさせる際、新規Podはコンテナイメージのダウンロード、コンテナ初期化、モデルロード、セッション状態の復元を経てReady状態に移行する。この間、Serviceは新規PodのReadinessProbeがパスするまでエンドポイントに含めず、トラフィックは既存のReadyなPodにのみ振り分けられる。これはKubernetesのデフォルト動作であり、意図的な設計である。しかし、LLMエージェントのモデルロードが数分かかる場合、この「Readyまでの空白」がそのままユーザーの待機時間となることがある。

スケールイン時の挙動は別の問題を引き起こす。既存Podを終了させる際、GKEのIngress ControllerやServiceはConnection Drainingを行い、確立済みのTCP接続が完了するまでPodをTerminating状態に保持する。これはデータ損失を防ぐための重要機能だが、エージェントがセッション状態をメモリ上にのみ保持している場合、Draining中にリクエストが切断されると、そのセッションに対する最後のレスポンスが返されず、バックエンドのセッションストアとの整合性が破れる可能性がある。

特にLLMエージェントは長い会話履歴（Stateful Session）を維持するため、Draining中の切断は単なる「1リクエストの失敗」にとどまらない。ユーザーが数十分かけて構築したコンテキストが失われ、次のリクエストでセッションを復元できなければ、エージェントの応答品質が構造的に劣化する可能性がある。つまり、スケールアウト時の「起動遅延」とスケールイン時の「Draining中のセッション損失」は、独立した問題ではなく、サービスの可用性を同時に脅かす複合的な課題である。

flowchart TD
    A["新規Pod: スケジュール→モデルロード→セッション復元"] --> B{"Ready判定"}
    B -->|"未達（数分）"| C["既存Podのみが全トラフィック処理"]
    B -->|"達成"| D["新規Podにトラフィック配分開始"]
    E["既存Pod: Terminating"] --> F["Connection Draining"]
    F --> G{"確立接続が完了したか"}
    G -->|"期限内 / 期限超過"| H["Pod終了: メモリ上セッション状態消失"]

この図で重要なのは、CとHがサービスの可用性に与える影響である。Cの状態では既存Podが過負荷になりレイテンシーが増加し、Hの状態ではDraining中に処理途中だったセッションが失われる。両者が同時に発生する（スケールアウトとスケールインが並行する）場合、可用性の劣化は二重に重なる可能性がある。以下では、この二重の問題をそれぞれどのように解消するかを、GKEの機能を用いて具体的に見ていく。

解決策1：VPA CPU Startup Boostで起動負荷を吸収する

Gemini 4 Argonのような大規模モデルエージェントでは、コンテナ起動直後のモデルロードやKV Cacheの初期化がCPUバーストを要求する。この処理は通常のリクエスト値（requests.cpu）では十分に対応できず、cgroupレベルのCPU Throttlingにより初期化が数分単位で遅延する。スケジューラがノードにPodを配置する際の判断材料もリクエスト値であるため、低い値を設定するとノードに収まりきらずPending状態が続く、あるいは収まってもThrottlingで実効スループットが落ちるという二重の問題が生じる。

GKEのRapid Channelでは、VPA CPU Startup BoostがPublic Previewとして提供されている（GKE公式ドキュメントの解説記事）。この機能は、Podの起動時にCPUリクエストを一時的に増加させ、初期化が完了した後にIn-Place Pod Resizing（IPPR）でベースライン値に戻す仕組みである。Podを再起動せずにリソースを変更できるため、起動負荷への対応がダウンタイムゼロで実現される。

設計上の判断基準はStartup Periodの設定である。この期間が短すぎると初期化が完了する前にブーストが解除され、再びThrottlingに陥る。逆に長すぎると、ノード上の他のPodに対して不必要にリソースを確保し続け、Autopilot環境ではvCPUあたり1 GiB〜8 GiBのメモリ制約と併せてコスト増を招く可能性がある。モデルのサイズやノードのスペックに応じて、初期化完了までの実測値から余裕を持たせるのが実務的な目安となる。

項目	通常設定（requests.cpu固定）	Startup Boost適用時
起動時のCPUリクエスト	ベースライン値（例: 500m）	ベースライン × 倍率（例: 1,500m）
初期化完了後のCPU	ベースライン値のまま	IPPRでベースラインに復帰
初期化中のThrottlingリスク	高（バースト需要 > リクエスト）	低（バースト需要 < ブースト後リクエスト）
Pod再起動	不要	不要（IPPRによる無停止リサイズ）
Startup Period外の動作	通常通り	ベースラインで動作、ノード負荷なし

解決策2：Connection Drainingとセッション永続化の設計

Connection Drainingの時間設定は、Draining中に完了させるべき「最後のリクエスト」の処理時間に依存する。LLMエージェントの場合、1回の推論リクエストが数秒〜数十秒かかる場合があるため、デフォルトの値（通常30秒）では不十分なことがある。terminationGracePeriodSecondsを推論の最大処理時間より長く設定し、Ingress Controller側のconnection draining timeoutもそれと整合させる必要がある。

しかし、Draining時間だけを延ばしても根本的な解決にはならない。Podが最終的に終了した時点で、メモリ上に保持されていたセッション状態（会話履歴、KV Cache、トークンカウンタ）は消失する。次に同一セッションのリクエストが別のPodにルーティングされた際、状態が復元されない限りユーザーは会話を最初からやり直すことになる。

そのため、セッション状態の外部ストレージ化が不可欠である。具体的には、以下の2つのレイヤーを組み合わせる。

ホットパス（メモリ内キャッシュ）: 推論中はKV CacheやトークンウィンドウをPodのメモリ上に保持し、レイテンシーを最小限に抑える。
コールドパス（外部ストレージ）: チェックポイント間隔（ターン単位や10〜30秒ごと）でセッション状態をRedisやCloud Storageに同期する。

永続化の粒度はトレードオフで決まる。チェックポイント間隔を短くすると復元精度は上がるがI/O負荷が増大し、推論レイテンシーに影響する。逆に長くするとコストは抑えられるが、Draining中にチェックポイント未保存のセッションが失われる窓が広がる。StatefulSetでPodとストレージを固定するか、Init Containerで外部ストレージから状態を高速復元する構成にするかは、スケーリングの柔軟性（スケールアウト時にストレージの割り当てが必要かどうか）と復元時間の許容範囲で判断する。

実装パターン：VPAとDeploymentのマニフェスト設計

VPA CPU Startup Boostを有効にするには、VerticalPodAutoscalerリソースとDeploymentのマニフェストを協調して設計する。以下は概念例であり、Public Preview段階の機能のため、実際のフィールド構造は公式ドキュメントで確認すること。

apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
  name: gemini-argon-agent-vpa
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: gemini-argon-agent
  updatePolicy:
    updateMode: Auto
  # Startup Boost: 起動時のCPU倍率と期間
  # （Preview機能のためフィールド名は公式ドキュメントで確認）
  startupBoost:
    cpuMultiplier: 3
    durationSeconds: 300

Deployment側では、resources.requests.cpuを通常運用時のベースライン値に設定する。これはIPPRがブースト解除後に復帰する値であり、スケジューラが定常状態でノードにPodを配置する判断材料となる。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: gemini-argon-agent
spec:
  replicas: 3
  template:
    spec:
      terminationGracePeriodSeconds: 120
      containers:
      - name: agent
        image: gcr.io/your-project/gemini-argon-agent:latest
        resources:
          requests:
            cpu: "500m"
            memory: "4Gi"
          limits:
            cpu: "500m"
            memory: "4Gi"

terminationGracePeriodSecondsは、Connection Drainingの時間と整合させる必要がある。上記の120秒は、推論の最大処理時間（例: 60秒）にDraining中の確認処理の余裕（例: 30秒）を加え、さらにシグナル伝達やクリーンアップの時間（例: 30秒）を見込んだ値である。この値がIngress Controllerのdraining timeoutより短ければ、接続が切断される前にPodが強制終了される可能性があるため、Ingress側の設定も確認する。

Autopilot環境では、CPU-to-memory比の制約が適用される。一般用途プラットフォームではvCPUあたり1 GiB〜8 GiBのメモリが必要とされるため、Startup BoostでCPUが3倍に増加した場合、メモリリクエストも同様に増加しないと制約の検証に失敗する可能性がある。その場合は、メモリリクエストを上限（vCPUあたり8 GiB）に設定してCPUのみをブーストする構成、あるいはメモリ側にもStartup Boostを併用する構成を検討する。

トレードオフ：バースト性能とコスト・安定性のバランス

Startup Boost、Connection Draining、セッション永続化の3つのパラメータは、それぞれ独立して調整可能に見えるが、実際には相互作用があり、片方だけ最適化すると別の制約で破綻する可能性がある。以下では、各パラメータを「高く」あるいは「低く」設定した場合のトレードオフを整理する。

Startup Boostの倍率を高く設定すると、起動時のCPU Throttlingは解消されるが、ノード上の他のPodへのリソース圧迫（Noisy Neighbor問題）が生じる。Autopilot環境ではvCPUあたり1 GiB〜8 GiBのメモリ制約が適用されるため、CPUをブーストした際にメモリリクエストが不足するとスケジューリングに失敗する。逆に倍率を低くすると、起動は安定するが初期化完了までの時間が延び、HPAによるスケールアウトの応答性が低下する可能性がある。

Connection Draining時間を長くすると、Draining中のリクエストが確実に完了するためセッション損失は減るが、スケールインの速度が遅くなり、不要なPodが稼働し続けるコストが発生する。障害時のリカバリ時間にも影響するため、Ingress Controller側のタイムアウトと整合させる必要がある。短くするとコストは抑えられるが、長時間の推論処理（特に大規模コンテキストを扱う場合）が切断されるリスクが高まる。

セッション永続化の頻度を上げると、Pod終了時の状態復元精度は向上するが、I/O負荷が増大し推論レイテンシーに影響を与える。チェックポイント間隔を広くするとI/Oは減るが、Podが予期せず終了した場合に失われるセッション量が増える。

設定項目	高く設定した場合	低く設定した場合
Startup Boost強度	起動高速化。ただしノード競合・メモリ制約違反のリスク	安定性は高いが起動遅延でスケールアウト応答性低下
Connection Draining時間	セッション損失は少ないがスケールイン遅延・コスト増	コストは抑えられるが長時間推論の切断リスク
セッション永続化頻度	復元精度向上。I/O負荷増で推論レイテンシー影響	I/Oは少ないがPod異常終了時の状態喪失量が増大

実際の運用では、まずベースラインのCPU使用量と初期化時間を計測し、Startup Boostの倍率を「初期化完了時刻が目標値（例: 90秒以内）に入る最小の倍率」に設定する。Draining時間は「最長推論処理時間 + 確認処理の余裕」で決定し、永続化頻度は「許容される最大セッション喪失量」から逆算する。この3つの値が相互に矛盾しないことを、負荷テストで検証してから本番に反映する。

監視とアラート：起動失敗とセッション欠落の検知

Startup Boostが機能しているかを確認するには、PodのCPUリクエスト値が起動時に増加し、Startup Period終了後にベースラインへ戻っているかを観測する。IPPR（In-Place Pod Resizing）が正常に適用された場合、Podの再起動なしでリソースが変更されるため、Podのrestart countが変化しないことを確認できる。一方で、Startup Period終了後もCPU使用量がベースラインに収束しない場合は、初期化処理が想定以上に長く続いているか、メモリ不足でスワップが発生している可能性を示唆する。

具体的には、PodのCPU使用量（リクエストに対する割合）を時間軸で追跡し、Startup Periodの境界で急減するパターンが確認できない場合はアラートを発火させる。また、VPAがリサイズを提案したにもかかわらずPodがPending状態から脱出できない場合（メモリ制約でスケジューリング失敗）も監視対象にする。Autopilot環境ではvCPUあたり1 GiB〜8 GiBのメモリ制約が適用されるため、CPUブースト時にメモリリクエストが不足してPendingになるケースが特に多い。

Connection Draining側の監視では、Draining中にリクエストがタイムアウトで切断された回数を計測する。Ingress Controllerのアクセスログから、PodのTERMINATING状態に移行した時刻以降に504が返されたリクエストを抽出し、その件数を閾値と比較する。Draining時間の超過によるタイムアウトは、ユーザーが会話の途中からセッションを失う重大なインシデントであり、即時対応が必要になる。

セッション復元失敗のエラーログも監視対象にする。Podが再起動後、外部ストレージからセッション状態を読み込む際にフォーマット不整合やI/Oエラーが発生した場合、アプリケーションログに特定のエラーコードが出力される。この件数が急増すれば、モデルアップデートやストレージ障害の兆候と判断できる。併せて、推論後のトークン使用量とレイテンシーをベースラインと比較し、起動後の性能劣化（KV Cacheの不完全復元など）を検知する。

運用上の落とし穴：バージョンアップと互換性

最大のリスクは、VPA CPU Startup BoostがPublic Previewである点にある。GKE 1.36.0-gke.4447000以降のRapid Channelで利用可能だが、Preview段階の機能はGA化に伴い仕様変更や廃止の可能性があり、依存度を低く保つ設計が望ましい。具体的には、Startup Boostなしでも起動できる冗長な初期化処理（モデルの段階的ロード、KV Cacheの遅延初期化など）をアプリケーション側に用意し、Boostが利用不可になった場合でも「遅くなるが動作する」状態を維持できるようにする。

GKEのバージョンアップ、特にRapid ChannelからStable Channelへの移行時には、Autopilotのリソース制約が変わる可能性がある。CPU-to-memory比の検証ルール（vCPUあたり1 GiB〜8 GiB）はプラットフォームの一般用途で定義されているが、バージョンアップでこの範囲が変更されたり、新しいプラットフォームタイプが追加されたりするケースがある。チャンネル移行前には、テスト環境で現行のPodスペックが引き続きスケジューリングに成功するかを検証し、制約に変更があればマニフェストを更新する。

セッション状態のフォーマットは、モデルのバージョンやアプリケーションのバージョンに依存する。モデルアップデート（例: Gemini 4 Argonのマイナーバージョン更新）によりKV Cacheの内部構造やトークナイザが変更されると、古いセッションデータが復元できなくなる「マイグレーション問題」が発生する。対策としては、セッションストアにモデルバージョンとアプリケーションバージョンをメタデータとして付与し、復元時にバージョン不一致を検出したらセッションを破棄して新規作成するフォールバックを用意する。バージョン固有のセッションストア（名前空間やキーのプレフィックスで分離）を用いることで、旧バージョンのセッションが新バージョンのPodで誤って復元されるのを防げる。

さらに、Ingress ControllerのバージョンアップでConnection Drainingの挙動が変わるケースもある。Drainingの開始タイミング（SIGTERM送信時か、ServiceのEndpoint削除時か）や、Draining中の新規接続の扱いがバージョン間で異なる場合がある。アップグレード前にDrainingの実際の挙動をテスト環境で確認し、アプリケーションのシグナルハンドラが想定通り動作するかを検証する。

まとめ：LLMエージェントのSREとしての新常識

LLMエージェントをKubernetes上で運用する場合、従来のWebアプリやマイクロサービスとは根本的に異なる設計前提が求められる。第一に、コンテナ起動後の初期化処理が「重たい」こと。モデルロードやKV Cacheの構築は、通常のアプリケーションの初期化とは桁違いの時間とリソースを消費する。第二に、処理がステートフルであること。会話履歴や推論中間状態をメモリ上に保持するため、Podの生死がそのままユーザー体験の破綻に直結する。

GKEのVPA CPU Startup BoostとConnection Drainingを組み合わせることで、冷たい起動によるレイテンシー増大と、接続切断によるセッション損失という2つの主要な課題を同時に緩和できる。Startup Boostが起動時のリソース不足を吸収し、Connection Drainingが終了時のセッション損失を防ぐ。さらにセッション永続化を外部ストレージに移すことで、Podの生死自体がセッションの存続に影響しない設計を実現する。この3層が重なって初めて、LLMエージェントのSRE的な運用が成立する。

今後は、より細粒度なリソース制御（コンテナ単位のCPUブースト、モデル推論に特化したGPUトスリング最適化など）がGA化されることで、さらに効率的な運用が可能になるだろう。ただし、Preview段階の機能を本番に導入する際は、依存度を低く保つフォールバック設計と、バージョンアップ時の検証プロセスを必ず用意すること。まずは自社のワークロードの初期化時間とセッション特性を計測し、Startup Boostの倍率・Draining時間・永続化頻度の最適なバランスを見つけることから始めるのが現実的な第一歩である。

参考

本記事は海外の技術トレンド「Scaling stateful Gemini 4 Argon agent sessions on GKE: Connection draining, startup boost, and session persistence」（DEV）で話題のテーマをもとに、両儀システムソリューションズが独自に解説したものです。