とりあえず大量に学習させておけば 完全な世界モデルにどんどん近づくっていう話はあるよね

生成 AI が AI 脅威論とか SF を学んでることは結構 めんどくさい 状況だなと思ったりする

仮に非常に高い信頼性のブラックボックスがごくまれに失敗した時、それを失敗 と認識するまでが大変なような気もする

成果が評価できない領域になっちゃうと もうそれすらできなくなるけど

まあ 信頼性 高く 成果が出てるならブラックボックスでも構わないってのは本当にその通りなんだよな

これは実際出てきそうだよな。 目標は明確、手段はある、判定も明確にできる、ただ人間にはできないこと、みたいな話になるし

「人間にはもはや よくわからないが この判定機の性能は信頼できる」ということをどうやって人間が判断するのかという問題

現状、判定機が正しく判定できていることを判定できる人間が必要であるという後退問題がある。

つまり 人間が判定機としての限界を迎える領域に、人間が作ってるものの性能の限界が 多分ある。 そこまでの間に、判定装置としての役目を 人間から機械にうつさなきゃならないが、どうやるんだっていう問題。

ただ人間にとって有用な方向に進化すると言った時に、人間に理解できないものを人間が有用だと解釈できない という問題がある