Ушел из кинематографа в 1981 году и через два года умер от почечной недостаточности у себя дома, в Лос-Анджелесе, США, в возрасте 65-ти лет.
Олдрич был женат дважды. От брака с Гарриет Фостер (1941—1965) у него было четверо детей. В 1966 году, после развода с Фостер, он женился на манекенщице Сибил Зигфрид.
С 1975 по 1979 занимал пост президента Гильдии режиссёров Америки.