このため、ヨハン不在の間にチェコ人の大貴族達（ロノフ家のインジフ・ス・リペー、ロジュンベルク家のペドル1世など）の勢力が拡大した。1315年と1317年には大貴族との対立が頂点に達し、ヨハンは和解のため譲歩を余儀なくされた。これを転機としてヨハンは対外政策に傾斜し、チェコの不在期間が増大し、1333年にはチェコ貴族達から息子カールが招かれることになる。