コラム

▎「反芻しながら考えて」

最近、ちょっと変わった効力を持つChatGPTのフレーズを考えました。
「反芻しながら考えて」。反芻（はんすう）とは何度も繰り返し最初から考え直すという意味です。

簡単な計測ですが、この効力は「ステップバイステップで考えて」の半分程度の威力でした。（コラム後半を参照）

利点としては、ステップバイステップだと、回答内容がステップ的になってしまいがちですが、反芻ですと、ひとまとまりの回答になりやすいという点です。

▎フレーズまとめ

というわけで、今日までの時点で、
精度が上がるとわかっているものは下記３つになります。

• ・ステップバイステップで考えて
• ・反芻しながら考えて
• ・深呼吸をして考えて

▎比較試験をしてみました

学術論文のような専門的なテストはできませんが、
せっかくなので簡単な計測テストを行います。

ChatGPTが比較的に苦手としている
下記のタイプの問題を与えてみました。

「理」という漢字で終わる2字の熟語を5つ挙げてください。

1. 科学理
2. 原理
3. 理論
4. 理解
5. 理性

この場合、1つしか正解が含まれていません。（2の「原理」のみ）
これを10回（合計50個）繰り返し、正答率を出してみます。

使用したのは、GPT-3.5です。

▎比較した結果です

① 元のまま:

「理」という漢字で終わる2字の熟語を5つ挙げてください。

https://chat.openai.com/share/29d3ea40-0960-4a36-866e-7fa3ead3342f
10/50（正解/問題数）: 正答率 20%

② 反芻:

反芻しながら考えて、「理」という漢字で終わる2字の熟語を5つ挙げてください。

https://chat.openai.com/share/3df73e82-ad87-48c2-af36-52f8550acd4d
16/50（正解/問題数）: 正答率 32% （正答率が1.6倍に）

③ ステップ・バイ・ステップ:

ステップバイステップで考えて、「理」という漢字で終わる2字の熟語を5つ挙げてください。

https://chat.openai.com/share/b6a243a4-7fd4-440c-84be-8da91930c25d
29/50（正解/問題数）: 正答率 58% （正答率が2.9倍に）

④ 深呼吸:

深呼吸をして考えて、「理」という漢字で終わる2字の熟語を5つ挙げてください。

https://chat.openai.com/share/86ee40e1-eb9b-483f-85fe-8eab1839e947
8/50（正解/問題数）: 正答率 16% （正答率が0.8倍に低下）


グラフにしましょう。



もちろん、計測方法はたくさんありますし、サンプル数も少ないですが、
「ステップバイステップで考えて」というフレーズには、やはり手応えを感じます。

すばらしいですね。「Let's think step by step（一歩ずつ考えよう）」
というフレーズの発見者は小島武さん（東京大学大学院）で、 関連論文は こちらです。https://arxiv.org/abs/2205.11916


ちなみに、GPT-4を使うと、フレーズを加えない元のままでも
それなりに高い正答率が出せます。