ルクセンブルク家とプシュミスル家の血を引くチェコ人として生まれたカールであったが、政治に関わる父と母の確執のため、3歳の時に母の手元から引き離され、ロケト城に幽閉され、その後7歳から14歳までの間はパリの宮廷に送られてそこで養育された。これはカペー朝最後の王となるフランス王シャルル4世の王妃マリー・ド・リュクサンブールが父ヨハンの妹だった縁による。