1323年にはルートヴィヒ4世がブランデンブルク辺境伯位をヨハンに与える約束を破ったことや、ハプスブルク家がハンガリー王カーロイ・ローベルトと結ぶなどの影響から、ルートヴィヒ4世とヨハンの関係は対立へと変化した。ルートヴィヒ4世は対立を続けるが、後にハプスブルク家のオーストリア公アルブレヒト2世らの仲介を受けて一旦和解し、ヨハンは捲土重来を期して勢力の拡大を図る。