コードの編集は末尾への追加よりも途中の変更が多いので、自己回帰モデルでdiffを生成するよりは拡散モデルやエンコーダーオンリーモデルでコード全体からコード全体へ変換する方が向いているんじゃないだろうか。