TIL: OpenAIの一部のモデルには、「予測される出力」を与えてレイテンシを下げられる機能がある。ソースコードの一部のみ編集するとき、元のソースコードを渡すとかする。おそらく投機的デコーディングみたいなことをやってるんだと思うけど、マッチするのは先頭以外でもよい。

https://platform.openai.com/docs/guides/predicted-outputs