Фильм снят по мотивам романа Марио Пьюзо «Крёстный отец» (The Godfather, 1969).
По словам Копполы, второй фильм не задумывался как сиквел в голливудском понимании этого слова. Сценарий представлял как бы вторую часть романа. Это оказало влияние и на методы производства картины. На съемках использовалась та же аппаратура, что и на первом «Крестном отце», хотя в 1974 году уже появились более современные технологии.
Еще до первого «Крестного отца» Коппола хотел снять фильм, в котором собирался показать отца и сына в одном и том же возрасте. В отце он хотел увидеть черты его будущего сына, а в сыне – черты отца.
В одной из вырезанных сцен, которая включена в DVD-версию фильма, Вито, Дженко и Клеменца встречаются в магазине, принадлежащему некоему синьору Копполе. Клеменца просит Копполу, чтобы его сын Кармине сыграл на кларнете. Существует предположение, что эту сцену режиссер посвятил своему отцу Кармине Копполе, сочинившему дополнительную музыку для первых двух «Крестных отцов».
В начале картины, когда мать дона Корлеоне подбегает к телу своего убитого сына, лежащего на камнях, видно, как «убитый» Паоло (старший брат дона Корлеоне) переставляет руку в более удобное положение в момент, когда мать Вито наклоняется к нему и обнимает его голову.