「このAIは庁外に通信していません」と口で言うだけでは、情報セキュリティ担当は納得しません。本記事では、Claude Codeに1本のプロンプトを渡して生成させたE2Eテスト93項目が、どのように「localhost以外への通信0件」を自動で検証し、動画・赤枠スクショ・Markdownレポートという3種類の証跡を残したかを、実際のテストレポートの数値で解説します。
1. 「本当に外に出ていない」をどう示すか
庁内でローカルAIを動かす提案をすると、情報セキュリティ担当から必ず聞かれる質問があります。「それは本当に外部へ通信していないのですか」。
開発者が「はい、していません」と答えても、それは自己申告です。設定ファイルで 127.0.0.1 にバインドしている、テレメトリを無効化している、と説明しても、「設定を見た」以上の証拠にはなりません。LGWAN接続系や三層分離の環境に持ち込む相談をするなら、第三者が後から検証できる形の証跡が要ります。
本記事で紹介するのは、Claude Code にプロンプトを1本渡して生成させた E2E(End-to-End)テストです。ブラウザを自動操作しながら、アプリが発生させるすべての通信を監視し、localhost 以外への通信が1件でもあればテストを失敗させる仕組みになっています。結果は Markdown のレポートと動画、赤枠付きのスクリーンショットで残ります。

バッジは画面の飾りです。それが本当かどうかを機械的に確かめるのがテストの役割です。
2. テスト項目93・成功93・失敗0の中身
最新のテストレポートの冒頭は、次の数値から始まります。
- 総テスト項目数: 93
- 成功: 93
- 失敗: 0
- 自動修正されたバグ数: 1(製品コード
app.py)+テスト基盤の是正 1件 - 完全閉域性(外部通信ゼロ): 適合確認済み
- 起動ヘルスチェック: HTTP 200 応答まで 2.0 秒

93項目は9つのセクションに分かれています。
| セクション | 項目数 | 主な確認内容 |
|---|---|---|
| 1. 起動・完全閉域性・セキュリティ設定 | 16 | HTTP 200 ポーリング、Deployボタン非表示、ダークテーマ、WALモード、外部通信0件 |
| 2. 主管課・業務フォルダの作成・切替・スレッド削除 | 9 | 「フォルダを作成」で新規フォルダが選択状態になる、課の切替、相談スレッドの削除 |
| 3. 多形式公文書資料の登録とRAG絞り込み | 11 | PDF・CSV・TXTの一括登録、「☑ 全選択」「☐ 全解除」と参照対象件数の連動 |
| 4. 一太郎(.jtd)・旧Office混入時の例外安全 | 7 | 落ちずに代替手順を案内してスキップする |
| 5. 住民個人情報の自動マスキング | 6 | 登録時の伏字化、ベクトルDBに生データが残らない |
| 6. 公務プロンプト管理(CRUD) | 8 | 追加・編集・削除・検索 |
| 7. 公務相談チャットと引用根拠 | 12 | 回答生成、出典の番号表示、引用箇所の展開、送信前マスキング |
| 8. 行政実務エクスポートの実体・非破損 | 11 | Word/Excel/PowerPoint/Markdown のダウンロードと再読み込み |
| 9. 審議会・委員会 音声議事録 | 13 | オフラインモード、文字起こし、構造化議事録、Word出力 |
数えると 16+9+11+7+6+8+12+11+13=93 になります。「起動したか」「ボタンが押せたか」で終わらず、ダウンロードした Word ファイルを python-docx で開き直して破損していないかまで確認しているのが特徴です。

3. 外部通信0件を自動アサートする仕組み
閉域性の検証は、2つの層で行われています。
ブラウザ側の監視。 Playwright の page.route で、ブラウザが発行するすべてのリクエストを横取りします。宛先ホストが 127.0.0.1・localhost・::1・0.0.0.0 のいずれでもなければ違反として記録し、該当テスト項目を失敗にします。最新レポートでは、許可された localhost 通信が 201 件、庁外への通信が 0 件でした。
プロセス側の監視。 Streamlit のプロセスIDを控えておき、そのプロセスが開いている TCP コネクションを列挙します。LLM 推論(Ollama)、埋め込み生成、音声の文字起こし(faster-whisper)が走っている最中も、庁外への接続は 0 件でした。
ブラウザだけ見ていると、サーバー側のライブラリが裏で外部へ問い合わせていても気づけません。プロセスだけ見ていると、フロントエンドが CDN からフォントを読んでいても気づけません。両方を見るからこそ、「この操作の範囲では外に出ていない」と言い切れます。
音声処理についても、セクション9の中で「音声処理中も外部通信が発生しない」が独立した項目になっており、結果は違反 0 件でした。
4. 動画・赤枠スクショ・レポートという3つの証跡
テストが PASS しただけでは、上司や監査担当に「見せる」ことができません。このテストは3種類の証跡を自動で残します。
操作録画。 1920×1080 の webm 動画が1本。ブラウザの自動操作をそのまま収録しているので、「どの画面で何を押したか」を再生して確認できます。入力は1文字ずつ打ち込む速度に落としてあり、人の目で追えます。
赤枠付きスクリーンショット。 操作対象に赤枠を付けた画像が、PNG 55枚と JPG 55枚。ファイル名は step_22_全選択ボタン.png のように連番と操作名で構成され、レポートの該当セクションに埋め込まれています。

Markdownレポート。 93項目それぞれに判定・検証項目・実測値の表があり、各セクションの末尾にスクリーンショットが並びます。「ブラウザから外部ドメインへの通信が0件」の行には「許可(localhost)通信 122 件 / 違反 0 件」のように実測値が残ります。
決裁文書に添付するなら、レポートの冒頭と「完全閉域性の監視結果」のセクションを印刷すれば足ります。動画とスクショは、求められたときに提示できる補助資料になります。
5. テストは製品コードを汚さない(サンドボックス方式)
テスト自動化で見落とされがちなのが、テスト自体が本番データを壊すリスクです。
このテストは製品コードを _app_sandbox/ に複製してから起動します。データベース(app_data.db)とベクトルDB(chroma_db/)はサンドボックス内に新規作成されるため、職員が実際に登録した資料や相談履歴には一切触れません。音声認識モデルは容量が大きいのでジャンクションで共有します。
起動時は HTTP 200 が返るまで最大30秒ポーリングし、確認できてからブラウザ操作を始めます。最新の実測は 2.0 秒でした。終了時は成功・失敗を問わず try...finally で Streamlit プロセスを終了させるので、ポート 8501 にプロセスが残りません。
地味な話ですが、「テストを回したら翌日アプリが起動しなかった」という事故を防ぐための指示が、プロンプトに最初から書き込まれています。
6. この仕組みをプロンプト1本で再現する
ここまでのテストは、手で書いたものではありません。販売キットに同梱している 02_E2Eテスト自動化_自動バグ修正プロンプト.md(約6,100字)を Claude Code に渡すと、Playwright のテストスクリプトを生成し、実行し、レポートを出力するところまで進みます。

プロンプトには、本記事で触れた要件が明示的に書かれています。
- 外部通信の監視をブラウザとプロセスの両面で行い、違反があれば失敗にする
- HTTP 200 を最大30秒ポーリングしてから操作を始める
- 製品コードはサンドボックスに複製し、本番DBに触れない
- 1920×1080 で録画し、操作対象に赤枠を付けてスクリーンショットを撮る
- 成功・失敗を問わずプロセスを終了させる
- バグを見つけたら、テストを緩めるのではなく製品コードを修正して再テストする
最後の項目については、実際に1件の製品バグが検知・修正されています。その経緯は別記事(Claude Codeが自分で見つけて直したバグ:主管課フォルダが切り替わらない)で扱います。
参照用として、実際に生成されて 93 項目を通過した test_automation_runner.py(約1,800行)と、架空のダミー資料を生成する test_data_builder.py(約400行)も同梱しています。自分の環境で生成結果が違っても、「この実装を参考にして」と Claude Code に読ませれば寄せられます。
7. 注意事項と関連記事
本キットは完成品ではなく、Claude Code で構築・テスト・マニュアル生成を行うためのスターターキットです。利用には Claude Code の契約(Anthropic の有料プランまたは API クレジット)、Node.js、Python、Ollama が別途必要です。生成AIの特性上、同じプロンプトでも毎回同じコードは生成されません。LGWAN 等の閉域ネットワークへの導入は、所属組織の情報セキュリティポリシーと承認手続きに従ってください。人的サポートは提供していませんが、トラブルQ&A 12項目を使い方ガイドに収録しています。
価格は 49,800円(税込)、購入組織内の利用人数は無制限、商用利用可、社外への再配布・転売は禁止です。
- 観点B: Claude Codeが自分で見つけて直したバグの話 → Claude Codeが自分で見つけて直したバグ:主管課フォルダが切り替わらない
- 機能A: 例規・公文書の出典付き検索 → 出典が見える庁内AI:例規・公文書を根拠付きで検索する(RAG)
- 総合解説(同梱物・価格・導入手順のまとめ) → データを外に出せない自治体のための完全閉域ローカルAI構築キット
- BOOTH 商品ページ → https://ai-beginner-navi.booth.pm/items/8938066


コメント