Его дед, Монро Леланд Хайворд (Monroe Leland Hayward), был сенатором штата Небраска. Его отец, полковник Уильм Хайворд (William Hayward), знаменитый герой Первой мировой войны.
Его старшая дочь - актриса Хайворд (Brooke Hayward), его сын, Билл Хайворд (Bill Hayward), покончил жизнь самоубийством в 66 лет, его младшая дочь, Бриджит Хайворд (Bridget Hayward), умерла от передозировки наркотиков в 21 год.