バル伯アンリ4世とその妻ヨランド・ド・ダンビエールの間の三男、末息子として生まれた。母はフランドル伯ロベール3世の次男ロベール・ド・カッセルの娘である。誕生直後に父が亡くなり、兄エドゥアール2世が母の摂政の下で家督を継承した。幼いロベールと兄エドゥアール2世が四旬節の時期に病気になった際、心配した母は、クレメンス6世教皇より肉食を許可される特免を出してもらっている。