しかし彼の強権的統治は反発を招き、特にカトリック貴族からは憎まれた。少年王ジェームズ6世もモートン伯を嫌っていた。そうした空気の中で1578年には第6代アーガイル伯爵コリン・キャンベルにより摂政解任に追い込まれた。