製造業の現場で、OCR が取り込んだ日付を誤読し、未来日付のレコードが10件混じっていた。取り込み処理の不具合でデータ欠落も見つかり、出しかけた確認書を撤回した。自動で入れたデータほど、人が検算するゲートが要る。誤りを認めて引っ込める速さも品質のうちだ。

生成した解説文に、キリルやハングル、簡体字がまれに紛れる事象が出た。LLM の出力は一定確率で壊れる。混入を自動で検出し、1回だけ生成し直すガードを挟んだ。AI の出力はそのまま世に出さない。検証を1枚かませるだけで、事故は目に見えて減る。

社内で試作中の経営シミュレーション基盤で、未送付なのに納品済みと記録される事故が起きた。記録漏れを実績ゼロと読み違える危険もあった。台帳を復元する仕組みを用意し、記録の入口に検証を足した。データは、正しく入って初めて意味を持つ。

投稿の公開範囲を選んで保存すると、意図に反して「自分のみ」へ化ける不具合があった。既定値まわりの事故は、本人が気づきにくいのが怖い。保存の経路を洗い、選んだ値がそのまま残るよう直した。使う人の意図を、システムが黙って書き換えてはいけない。

目標の達成度を、達成か未達の2択で数えていた。すると「おおむね出来た」が0%に見え、頑張った人ほど数字に裏切られた。◎=1・○=0.5・△=0 の加重平均に変えた。指標は現実を映す鏡だが、設計を誤れば人の意欲まで曲げる。数字は測るだけでなく、人を動かす。

学習アプリで、章を終えると解放されるコレクション要素が、どの利用者も0件のままだった。エラーは一切出ていない。解放条件の導出を1か所間違えていただけだ。動いて見えることと、成果が出ていることは違う。数字がゼロで並んだら、まず自分の集計を疑う。

当初は現在地レポートに景気・市場の外部数値カードを並べていた。だが出典を明示し続けることと、毎月の更新を継続することの両立が難しく、信頼性を担保できないと判断。数値の羅列はやめ、DSS2.0 のロールを中小企業の言葉に翻訳して『自社の現在地』を示す形に再設計した。見栄えのする数字より、自分たちが根拠を説明できる構成を選んだ。

今月は、Backlog・Slack・freee・Google Workspace・Supabase を中心に、経営管理・PM・経理自動化まわりの PoC を検証。共通して見えてきたのは、AI 導入の成否はツール選定ではなく、業務データの流れを先に設計できるかで決まるということ。

自律処理の賢さよりも、どのタイミングで人に確認を挟むかの設計が成果を分ける。業務ごとに Safety レベルを切り分ける重要性を再確認した。