AI の不透明な失敗が「普通」になる危険

「Jev」は TypeSafe AI が開発した AI モデルで、型付きの値と確率推定値をセットで返す点が特徴とされる。速度とコストの低さが売りとされているが、筆者はその実用性に強い疑問を呈する。

最大の問題として指摘されるのは「評価パイプラインの欠如」だ。Jev が正しく動いているかを確認するには、evals（評価セット）とグラウンドトゥルースのパイプラインが必要になる。しかし、そこまで整備できていれば、自前のモデルをファインチューニングする道はすでに開けている。つまり「難しい部分」は何も省略されていない。

筆者が危惧するのは、実際の導入現場では誰も evals を組まず、不透明な質問を投げ込んで不透明な回答を受け取るだけという現実だ。「AI は間違える」という免罪符のもと、障害発生時の責任が曖昧になる構造が生まれる。

信頼度スコアについても批判は鋭い。スコアを活用するには、そのキャリブレーション品質の把握と、不確実性のコストモデルが両方必要だ。Jev のドキュメント自体が「0.5 で何もしない、0.9 でハイリスクな操作を許可」という閾値を例示しつつ、「適切な値はユースケース次第」と注記するにとどまる。現場では「とりあえず 0.9 でいいか」という判断になりがちだと筆者は皮肉る。

従来のソフトウェア障害には「どこかで契約が破られた」という因果関係があり、担当者が存在する。しかし AI の失敗は「stupid thing sucks」と呟くしかない不条理さに近づいている、と筆者は結論づける。