1367年にロバート3世はアナベラ・ドラモンドと結婚した。アナベラはジョン・ドラモンド卿の娘で、ロバートの大叔父デイヴィッド2世の後妻マーガレット・ドラモンドの姪にあたる。2人の間には7人の子供が生まれた。