ChatGPTとは
使い方のガイド
文例・例文のサンプル
ChatGPTについて教えて
始め方(はじめかた)、書き方
プロンプトのテンプレート

コラム

image

ChatGPTの「創造力」を抑制して回答の正確度を上げる実験

2023-07-13  𝕏 シェアする


ChatGPTはそれらしい文章を生成しているだけなので、わからない点については創造を混ぜて回答する場合があります。そのため、嘘やハルシネーション(幻覚)が含まれるという欠点があります。

下記のパラメータは回答のランダム性に影響するものであり、その「創造力」を少しだけコントロールします。ある程度ですが、誤情報を減らすことができました。


① 確度の高い回答をさせたいとき
意見や推測は避けてください。 わからないことは創造せずに、わからないと答えてください。
情報が正確かどうか二度確認してから回答してください。
「temperature」パラメータを最低値にしたかのように、
ふるまってください。

このフレーズは、「家計をファイナンシャルに診断してもらう」「投資ポートフォリオの組み合わせの原案」などの文例で使用しています。



② 逆に、創造性豊かな回答や飛躍したアイデアがほしいとき
ChatGPTの「Top P」と「temperature」パラメータを 少し高めにしたかのように、(創造的に)ふるまってください。
水平思考の指定も効果が高いです。アイデアが広がります。
・・・・について、水平思考で考えて案を出してください。
さらに水平思考で考えて追加案を出してください。

このフレーズは、「広告のキャッチフレーズを考えてもらう」「ツイッターのネタを考えてもらう 」などの文例で使用しています。




それでは①を検証してみましょう

GPT3.5に聞いてみます。
戦国時代の(豊臣秀吉の日本統一前の)、石川県 能登地方の戦国武将は誰ですか?
戦国時代の石川県能登地方における戦国武将としては、蘆名盛氏(あしな もりうじ)が知られています。蘆名盛氏は能登地方において一定の勢力を持っていました。

まったくの嘘ですね。正解は「畠山氏」です。再回答してもほとんど適当な答えです。
プロンプトに一文を追加します。

戦国時代の(豊臣秀吉の日本統一前の)、石川県 能登地方の戦国武将は誰ですか?
わからないことは創造せずに、わからないと答えてください。
石川県能登地方の戦国時代の武将については、正確な情報が限られています。そのため、能登地方に関する具体的な戦国武将の名前はわかりません。申し訳ありませんが、これ以上の詳細な情報を提供できません。

10回ほど、回答を再生成させました。
2回の嘘を除いて、残り8回は、すべて「わからない」と答えました。
知らないものは知らないということ。大事です。

では、GPT-4に聞いてみます。
データが増えたのでしょう。「わからない」が減りました。
10回中、「嘘」「わからない」「正解」が 2:4:4 ぐらいの確率で出てきます。

能登地方を代表する戦国時代の武将と言えば、前田利家が有名です。ただし、前田利家が能登を治めたのは豊臣秀吉が天下を統一した後なので、秀吉の日本統一前の能登地方の武将について具体的な名前を出すのは難しいです。
能登地方は石川県の一部で、戦国時代には畠山氏という戦国大名が統治していました。畠山氏は室町幕府の代々の将軍家である足利氏に仕えていたとされています。特に畠山義総は能登畠山氏の当主として有名で、彼は一時期能登全域を支配していましたが、後に内紛や他の大名の介入により力を失いました。

では、パラメータを変えた感じにしてみます。

ChatGPTの「Top P」と「temperature」パラメータを最低値にしたかのように、ふるまってください。戦国時代の(豊臣秀吉の日本統一前の)、石川県 能登地方の戦国武将は誰ですか?
わからないことは創造せずに、わからないと答えてください。
私の知識では、石川県能登地方の戦国時代に存在した具体的な武将の名前を特定することは難しいです。能登地方は戦国時代には畠山氏や丹羽氏などによって支配されていましたが、具体的な個々の武将については情報がありません。
私の知識の範囲では、能登地方を支配した戦国時代の著名な武将は畠山氏です。畠山氏は室町幕府の管領職を務めるなどの権力を握り、越中国や加賀国、そして能登国を支配しました。

答え方が慎重になった気がします。

「嘘」「わからない」「正解」が 1:4:5 ぐらいの感触です。
わからないとしても、分かる範囲の情報を書いてくれる傾向があります。
また、正解を言うとしても、慎重に幅広い情報を(あまり回答を絞らずに)答えてくる感じになります。

質問内容や、私の受けた印象の影響もあるかもしれません。みなさんでもお試しください。


・・・


ご感想を受付ています

サイトの拡充・改善に取り組んでいます。
感想やリクエストなどお気軽にどうぞ
ご提案フォームを開く