Отец Вайды - Якуб Вайда, офицер конной артиллерии, в 1939 году попал в советский плен и был расстрелян в Катыни (по другим сведениям — в Харькове).
Родился в семье офицера конной артиллерии и школьной учительницы.
Кавалер орденов Почётного легиона двух степеней.
Во время Второй мировой войны работал чертёжником, грузчиком, учеником бондаря, кладовщиком в немецких мастерских: это спасало от угона на принудительные работы в Третий рейх.