Родители Сеймура развелись, когда будущему актеру исполнилось девять лет. Он тяжело пережил распад семьи и в течение некоторого времени пребывал в депрессии.
Родился в семье Мэрилин О`Коннор, юриста по гражданским правам, и Гордана Хоффмана, исполнительного директора компании «Xerox».
У Филипа Сеймура есть две сестры, Джилл и Эмили, а также брат Горди Хоффман.
Хоффман был в отношениях с костюмершей Марианной «Мими» О’Доннелл последние 15 лет его жизни,расстались незадолго до смерти актера.
Они познакомились в 1999 году во время работы в пьесе «В Арабии мы бы все стали королями». У них было трое детей: сын - Купер Александр (род. 2003), дочери: Таллула (род. 2006) и Вилла (род. 2008).