ところが、これが裏目に出る。ガストン3世が王家へ抗議してベリー公がラングドックから退去、1362年にはガストン3世との戦いに敗れ捕虜となってしまった。結果、1364年にガストン3世へ多額の賠償金と多くの領土を割譲する羽目になり、ガスコーニュにおける勢威は衰えてしまった。こうした逆境から1360年代にはイングランドへ鞍替えし、賠償金の支払い援助をエドワード黒太子に願い出ている。また、1367年には黒太子に従軍してナヘラの戦いに参戦している。