PR

「外部通信0件」を自動で証明する、E2Eテスト93項目の証跡

「外部通信0件」を自動で証明する、E2Eテスト93項目の証跡 (地方自治体向け)ローカルAI構築キット
記事内に広告が含まれています。

「このAIは庁外に通信していません」と口で言うだけでは、情報セキュリティ担当は納得しません。本記事では、Claude Codeに1本のプロンプトを渡して生成させたE2Eテスト93項目が、どのように「localhost以外への通信0件」を自動で検証し、動画・赤枠スクショ・Markdownレポートという3種類の証跡を残したかを、実際のテストレポートの数値で解説します。

1. 「本当に外に出ていない」をどう示すか

庁内でローカルAIを動かす提案をすると、情報セキュリティ担当から必ず聞かれる質問があります。「それは本当に外部へ通信していないのですか」。

開発者が「はい、していません」と答えても、それは自己申告です。設定ファイルで 127.0.0.1 にバインドしている、テレメトリを無効化している、と説明しても、「設定を見た」以上の証拠にはなりません。LGWAN接続系や三層分離の環境に持ち込む相談をするなら、第三者が後から検証できる形の証跡が要ります。

本記事で紹介するのは、Claude Code にプロンプトを1本渡して生成させた E2E(End-to-End)テストです。ブラウザを自動操作しながら、アプリが発生させるすべての通信を監視し、localhost 以外への通信が1件でもあればテストを失敗させる仕組みになっています。結果は Markdown のレポートと動画、赤枠付きのスクリーンショットで残ります。

サイドバー上部に「外部送信なし」「localhost待受」「SQLite WAL」「個人情報マスキング ON」のバッジが並ぶ
サイドバー上部に「外部送信なし」「localhost待受」「SQLite WAL」「個人情報マスキング ON」のバッジが並ぶ

バッジは画面の飾りです。それが本当かどうかを機械的に確かめるのがテストの役割です。

2. テスト項目93・成功93・失敗0の中身

最新のテストレポートの冒頭は、次の数値から始まります。

  • 総テスト項目数: 93
  • 成功: 93
  • 失敗: 0
  • 自動修正されたバグ数: 1(製品コード app.py)+テスト基盤の是正 1件
  • 完全閉域性(外部通信ゼロ): 適合確認済み
  • 起動ヘルスチェック: HTTP 200 応答まで 2.0 秒
テストレポート冒頭の総合評価と件数
テストレポート冒頭の総合評価と件数

93項目は9つのセクションに分かれています。

セクション 項目数 主な確認内容
1. 起動・完全閉域性・セキュリティ設定 16 HTTP 200 ポーリング、Deployボタン非表示、ダークテーマ、WALモード、外部通信0件
2. 主管課・業務フォルダの作成・切替・スレッド削除 9 「フォルダを作成」で新規フォルダが選択状態になる、課の切替、相談スレッドの削除
3. 多形式公文書資料の登録とRAG絞り込み 11 PDF・CSV・TXTの一括登録、「☑ 全選択」「☐ 全解除」と参照対象件数の連動
4. 一太郎(.jtd)・旧Office混入時の例外安全 7 落ちずに代替手順を案内してスキップする
5. 住民個人情報の自動マスキング 6 登録時の伏字化、ベクトルDBに生データが残らない
6. 公務プロンプト管理(CRUD) 8 追加・編集・削除・検索
7. 公務相談チャットと引用根拠 12 回答生成、出典の番号表示、引用箇所の展開、送信前マスキング
8. 行政実務エクスポートの実体・非破損 11 Word/Excel/PowerPoint/Markdown のダウンロードと再読み込み
9. 審議会・委員会 音声議事録 13 オフラインモード、文字起こし、構造化議事録、Word出力

数えると 16+9+11+7+6+8+12+11+13=93 になります。「起動したか」「ボタンが押せたか」で終わらず、ダウンロードした Word ファイルを python-docx で開き直して破損していないかまで確認しているのが特徴です。

「☑ 全選択」「☐ 全解除」を押すと参照対象件数が連動して変わる
「☑ 全選択」「☐ 全解除」を押すと参照対象件数が連動して変わる

3. 外部通信0件を自動アサートする仕組み

閉域性の検証は、2つの層で行われています。

ブラウザ側の監視。 Playwright の page.route で、ブラウザが発行するすべてのリクエストを横取りします。宛先ホストが 127.0.0.1・localhost・::1・0.0.0.0 のいずれでもなければ違反として記録し、該当テスト項目を失敗にします。最新レポートでは、許可された localhost 通信が 201 件、庁外への通信が 0 件でした。

プロセス側の監視。 Streamlit のプロセスIDを控えておき、そのプロセスが開いている TCP コネクションを列挙します。LLM 推論(Ollama)、埋め込み生成、音声の文字起こし(faster-whisper)が走っている最中も、庁外への接続は 0 件でした。

ブラウザだけ見ていると、サーバー側のライブラリが裏で外部へ問い合わせていても気づけません。プロセスだけ見ていると、フロントエンドが CDN からフォントを読んでいても気づけません。両方を見るからこそ、「この操作の範囲では外に出ていない」と言い切れます。

音声処理についても、セクション9の中で「音声処理中も外部通信が発生しない」が独立した項目になっており、結果は違反 0 件でした。

4. 動画・赤枠スクショ・レポートという3つの証跡

テストが PASS しただけでは、上司や監査担当に「見せる」ことができません。このテストは3種類の証跡を自動で残します。

操作録画。 1920×1080 の webm 動画が1本。ブラウザの自動操作をそのまま収録しているので、「どの画面で何を押したか」を再生して確認できます。入力は1文字ずつ打ち込む速度に落としてあり、人の目で追えます。

赤枠付きスクリーンショット。 操作対象に赤枠を付けた画像が、PNG 55枚と JPG 55枚。ファイル名は step_22_全選択ボタン.png のように連番と操作名で構成され、レポートの該当セクションに埋め込まれています。

操作対象のボタンに赤枠が付いたテスト時のスクリーンショット
操作対象のボタンに赤枠が付いたテスト時のスクリーンショット

Markdownレポート。 93項目それぞれに判定・検証項目・実測値の表があり、各セクションの末尾にスクリーンショットが並びます。「ブラウザから外部ドメインへの通信が0件」の行には「許可(localhost)通信 122 件 / 違反 0 件」のように実測値が残ります。

決裁文書に添付するなら、レポートの冒頭と「完全閉域性の監視結果」のセクションを印刷すれば足ります。動画とスクショは、求められたときに提示できる補助資料になります。

5. テストは製品コードを汚さない(サンドボックス方式)

テスト自動化で見落とされがちなのが、テスト自体が本番データを壊すリスクです。

このテストは製品コードを _app_sandbox/ に複製してから起動します。データベース(app_data.db)とベクトルDB(chroma_db/)はサンドボックス内に新規作成されるため、職員が実際に登録した資料や相談履歴には一切触れません。音声認識モデルは容量が大きいのでジャンクションで共有します。

起動時は HTTP 200 が返るまで最大30秒ポーリングし、確認できてからブラウザ操作を始めます。最新の実測は 2.0 秒でした。終了時は成功・失敗を問わず try...finally で Streamlit プロセスを終了させるので、ポート 8501 にプロセスが残りません。

地味な話ですが、「テストを回したら翌日アプリが起動しなかった」という事故を防ぐための指示が、プロンプトに最初から書き込まれています。

6. この仕組みをプロンプト1本で再現する

ここまでのテストは、手で書いたものではありません。販売キットに同梱している 02_E2Eテスト自動化_自動バグ修正プロンプト.md(約6,100字)を Claude Code に渡すと、Playwright のテストスクリプトを生成し、実行し、レポートを出力するところまで進みます。

起動バッチからブラウザにアプリが表示されるまで
起動バッチからブラウザにアプリが表示されるまで

プロンプトには、本記事で触れた要件が明示的に書かれています。

  • 外部通信の監視をブラウザとプロセスの両面で行い、違反があれば失敗にする
  • HTTP 200 を最大30秒ポーリングしてから操作を始める
  • 製品コードはサンドボックスに複製し、本番DBに触れない
  • 1920×1080 で録画し、操作対象に赤枠を付けてスクリーンショットを撮る
  • 成功・失敗を問わずプロセスを終了させる
  • バグを見つけたら、テストを緩めるのではなく製品コードを修正して再テストする

最後の項目については、実際に1件の製品バグが検知・修正されています。その経緯は別記事(Claude Codeが自分で見つけて直したバグ:主管課フォルダが切り替わらない)で扱います。

参照用として、実際に生成されて 93 項目を通過した test_automation_runner.py(約1,800行)と、架空のダミー資料を生成する test_data_builder.py(約400行)も同梱しています。自分の環境で生成結果が違っても、「この実装を参考にして」と Claude Code に読ませれば寄せられます。

7. 注意事項と関連記事

本キットは完成品ではなく、Claude Code で構築・テスト・マニュアル生成を行うためのスターターキットです。利用には Claude Code の契約(Anthropic の有料プランまたは API クレジット)、Node.js、Python、Ollama が別途必要です。生成AIの特性上、同じプロンプトでも毎回同じコードは生成されません。LGWAN 等の閉域ネットワークへの導入は、所属組織の情報セキュリティポリシーと承認手続きに従ってください。人的サポートは提供していませんが、トラブルQ&A 12項目を使い方ガイドに収録しています。

価格は 49,800円(税込)、購入組織内の利用人数は無制限、商用利用可、社外への再配布・転売は禁止です。

コメント

タイトルとURLをコピーしました