そのAIの答え、言いっぱなしにしていませんか——AIフィードバックという育て方

サイトに置いた AI チャットが、今日どんな質問に答えたか見たことがあるだろうか。
設置した日は気になって何度も開いたのに、しばらくすると開かなくなる。
動いているから大丈夫、と思ってしまうからです。
でも動いていることと、ちゃんと答えられていることは、別の話だと思う。

私が最初に AI チャットを入れたとき、いちばん困ったのは「どこで間違えているのか分からない」ことでした。
利用者は的外れな答えが返ってきても、たいてい黙って画面を閉じる。
苦情が来ないので、こちらは何も起きていないつもりでいられる。
気づいたのはまったく別の場面で、「チャットで聞いても分からなかったので電話しました」と言われたときです。

だからコンテナでは、回答に対して利用者が付けた👍と👎を管理画面に集めています。
👎だけで絞り込めば、どの質問で外しているのかがその場で見える。
逆に評判のよかった質問と回答は、ボタンひとつでナレッジや FAQ へ昇格させられます。
文章を打ち直す必要はなく、昇格した知識は次のチャットからすぐ参考にされる。

答える、評価がつく、良いものを残す、次に効く。
この輪が回りはじめると、AI は放っておいて賢くなるのではなく、育てた分だけ賢くなるのだと分かります。
最初から完璧な想定問答を作り込まなくていい。
実際に届いた質問のほうが、机の上で考えた FAQ よりずっと的を射ているからです。
週に一度、👎の一覧を眺めるだけでも、半年後の答えはずいぶん変わると思う。
詳しくはAIフィードバックのページをご覧ください。