Гарретт родился в семье Деборы (Deborah) и Уиллера Нефф (Wheeler Neff), у него есть старшая сестра, родители развелись, когда ему было шесть лет.
Окончил школу Wilmington Friends School в Уилмингтоне (Делавэр) и частный Бакнеллский университет в Льюисберге (Пенсильвания), в котором изучал менеджмент, в школе занимался легкой атлетикой, выступал за школьные команды по футболу и теннису, в университете был членом первой теннисной команды.