ジェームズ1世はロバート3世と王妃アナベラ・ドラモンドの三男として生まれた。1402年3月、兄のデイヴィッドが幽閉先のファイフのフォークランド宮殿で原因不明の死を遂げると、1404年12月にロスシー公、キャリック伯に叙爵された。