機械学習の限界

面白いニュース[^1]を見つけました。科学記事を自動で生成するAIが、入力内容次第でウソ記事を生成してしまうという問題です。このAIは機械学習ベースで、たくさんの論文や教科書、百科事典などからモデルを作り、入力欄で指定した記事形式や質問に対して、文献や数式を引用しながら科学記事や解説文を自動で生成できます。ところが質問された内容が科学的に正しいかどうかを判断していないため、明らかに非科学的な問いに対しても肯定的な文章を生成するケースが報告されています。いわばフェイクニュース製造機になってしまったので、わずか３日間で非公開になってしまいました。開発者としては「悪用された」という気分でしょう。でも一般に公開したモデルがこうした「意地悪な使い方」[^2]をされるのは、これが始めてではありません。人がAIを批評する時に「善悪を含む質問」をするのは当然であり、機械学習と言えども倫理観が必要です。そうしたセーフガードを持たない機械学習モデルに実用性はありません。

[^1] https://gigazine.net/news/20221121-meta-ai-galactica-pulled/

[^2] https://wired.jp/2016/03/25/tay-tweet-microsoft/