1305年9月エドワード1世はロバートに対してそのキルドラミー城を”自ら進んで答えるような状態に保つよう”命じた。これはすなわち、エドワード1世にとってロバートは完全に信頼できる人物ではなく、秘かに陰謀を練っているのではないか疑っているとの意思表示だったのである。もっとも同じ文句はエドワード1世とその副官で長年の友であったエイマー・ド・ヴァレンスとの協定でも現れている。エドワード1世のさらなる不信の兆候は10月10日に、ギルバート・ドゥ・アンフラヴィルの土地をロバートに与えるという、わずか6ヶ月前にした約束を取り消したことにも現れていた。