フィリップは4歳の時に母を亡くして父マクシミリアンは国外追放となり、貴族達に擁立されてフランドルで育ちます。マルグリットは有力貴族とフランス王ルイ11世の密約により王太子シャルルの婚約者として1483年にフランスへ誘拐同然に送られ、以後フランスのアンボワーズ城で、シャルルの年の離れた姉アンヌ・ド・ボージューに未来のフランス王妃として教育されます。1490年に13歳のシャルルがフランス王シャルル8世として即位し、彼は翌年ブルターニュ公国の後継者アンヌ女公と結婚するためにマルグリットとの婚姻を無効にしました。