「7/7に答え合わせします」と書いた記事、有言実行できた話¶
前回の記事で、AI会議の仕組みを作り替えて「予測には期日をつけ、期日が来たら自動で答え合わせする」という運用を始めた話を書きました。記事の最後に「7/7には2件の予測が答え合わせされる予定です」と書いたので、今回はその答え合わせの結果を報告します。
3行で言うと、こうです。
- 2件の予測は両方とも成立していた
- 判定そのものはコマンド一発、数分で終わった
- ただし「自動」の意味について、自動化できていた範囲と未自動だった範囲があることに気づいた
おさらい：何を、いつ、どう判定するはずだったか¶
前回作った「会議2.0」の仕組みでは、会議中に出た「これは効くはずです」という主張を、その場の空気で終わらせず、期日つきの予測として記録に残します。期日が来たら、感想ではなくコマンドの終了コードで白黒をつける約束でした。
今回答え合わせの対象になったのは、EAの自動生成ラインに関する2つの予測です。
予測1: 新しい視点を混ぜる仕組みは、ちゃんと機能しているか EAの自動生成ラインに、判断材料になる新しい視点を試験的に混ぜる仕組みを入れました。「試験導入から5夜経った時点で、その視点が実際に候補として拾われていて、かつ変な失敗（未検証のまま無視される・種別不明・組み立てエラー）が0件であること」を、次の段階（本採用に近い運用）へ進めるための前提条件としました。
予測2: 生成が枯渇する問題は再発していないか 少し前に、EAの生成候補が2晩連続でゼロ件になるという枯渇が起きていました。原因を直して仕組みを切り替えたのですが、「その効果が本当に続いているか」を、直近の実行ログで候補数が1件以上あり、かつ枯渇時特有の停止理由が出ていないことで判定することにしました。
答え合わせの結果¶
7/7を過ぎたところで、実際にこの2つを検証コマンドにかけました。結果は次の通りです。
| 予測 | 判定基準 | 結果 |
|---|---|---|
| 新視点の健全性 | サンプリング成立・失敗系0件・注入候補あり | confirmed |
| 生成供給の回復 | 候補1件以上・枯渇特有の停止理由なし | confirmed |
直近の実行ログでは、新しい視点が1件サンプリングされ、失敗系のカウントはすべて0、注入候補も1件確保されていました。生成供給のほうは、候補数が3件で、枯渇を示す停止理由は出ていませんでした。2件とも、こちらの主張通りの結果です。
判定にかかった時間は、コマンドを1つ打って結果を読むだけなので数分です。「本当に効いたのか」を確認するのに、会議も感想戦もいりませんでした。これが、前回の記事で狙っていた「予測を資産に変える」の実物です。
見つかった課題：「自動」は「トリガーいらず」ではなかった¶
答え合わせをしていて、ひとつ気づいたことがあります。「期日が来たら自動で判定される」と書きましたが、正確には「判定ロジックそのものに人の裁量が入らない」という意味であって、「誰も触らなくても判定が実行される」という意味ではありませんでした。
今回のケースでは、判定を走らせる定例のタイミングが7/7より前だったため、実際に判定が実行されたのは7/9でした。期日ちょうどには判定されていなかったわけです。
これは仕組みの欠陥というより、「自動」という言葉を自分がどこまでの意味で使っていたかの再確認でした。判定のロジックは確かに人の裁量ゼロで白黒がつきます。ただ、そのロジックを「いつ呼び出すか」は別の話で、そこはまだ定期実行の周期任せになっている、という発見です。次に直すとしたら、ここだと思います。
なぜ「感想」ではなく「コマンド」で判定するのか¶
もう少し丁寧に、前回の仕組みの背景を書いておきます。AI同士に会議をさせていると、「これは効くはずです」という発言そのものは簡単に出てきます。もっともらしい理由も、たいてい後付けでいくらでもつけられます。問題は、その主張が正しかったかどうかを、誰も後から確認していなかったことでした。
会議の記録を読み返しても、「誰が何を言ったか」は残っていても「その発言が当たっていたか」は残らない。これでは、発言の質を長期的に見分ける材料になりません。声が大きい主張と、地味だけど当たる主張の区別がつかないまま、次の会議に進んでしまいます。
そこで、再現できる手順がついた主張は「予測」として期日つきで記録し、期日が来たら自然言語の感想ではなく、あらかじめ決めておいた判定コマンドの終了コードで白黒をつける、という運用に変えました。今回の2件も、判定基準は会議の時点で「サンプリングが成立し、失敗系がゼロで、注入候補が1件以上ある場合に成立」というように、実行結果だけで自動的に決まる形にしてありました。
このやり方の利点は、答え合わせのときに議論が要らないことです。今回も、私がやったのは検証コマンドを実行して、返ってきた終了コードを読むことだけでした。「効いたと思う」「いや効いていない」というやり取りは一切発生しません。
まとめ¶
- 前回予告した2件の予測は、両方とも成立(confirmed)していた
- 判定は議論ゼロ、コマンド一発、数分で完了
- 「自動判定」と「判定が自動で走り出す」は別物だと気づいた。今回は後者が2日遅れた
- 予告を書いた以上、答え合わせもちゃんと記事に書く。これを続けることが、この仕組みの信頼性そのものだと思っています
本記事は個人の開発記録です。数値は2026年7月時点の実行ログに基づくもので、仕組みは今後変わる可能性があります。
関連リンク