LLMに川渡りパズルのひっかけ問題を出した場合、単純なものは上手く答えられるけど、ちょっと誤誘導するとひっかかる(claude-3-5-sonnet-20241022, gpt-4o, openai-o1-preview, gemini-1.5-pro-002)。

解ける: 「パズルを解いてください: 河岸に商人とヤギがいます。岸には船があり、商人とヤギを一度に運べます。反対岸に渡るにはどうしたらよいでしょうか。」

解けない: 「パズルを解いてください: 河岸に商人とヤギがいます。岸には船があり、商人とヤギ・オオカミ・キャベツのいずれか1つを一度に運べます。反対岸に渡るにはどうしたらよいでしょうか。」

解けない: 「パズルを解いてください: 河岸に商人とヤギがいます。岸には船があり、商人とヤギ・オオカミ・キャベツ・イカ・ゴジラのいずれか1つを一度に運べます。反対岸に渡るにはどうしたらよいでしょうか。」

答えたあとに「問題文を注意深く確認してください。岸には最初何がいますか。」とか追加すると上手くいくこともあるけど、一発で答えさせるのは難しい。