ヤズィードの母親のマイスーン・ビント・バフダルは強力なベドウィンの部族であるカルブ族の族長のバフダル・ブン・ウナイフの娘であり、部族内のほとんどの人々と同様にキリスト教徒であった。ヤズィードは母方のカルブ族の親族と共に育ち、青年時代の初期をシリア砂漠で過ごした。その後は661年にカリフとなったムアーウィヤに仕えていた、ギリシア人と地元出身のシリア人からなる廷臣たちと共に過ごしていた。