Фильм должен был снимать Джон Г. Эвилдсен, но он выбыл из проекта незадолго до начала съемок из-за разногласий с продюсером Мартином Брегманом. В итоге режиссером фильма стал Сидни Люмет.
Фильм снимали в 104 различных местах, расположенных почти во всех районах Нью-Йорка.
Съемки проходили в обратном хронологическом порядке. Сначала Аль Пачино снялся в сценах, где у него длинные волосы и борода; затем, в каждом из эпизодов ему их укорачивали. Это делалось для того, чтобы у зрителей создалось впечатление, будто волосы и борода у героя Аль Пачино отрастают естественным образом.
Аль Пачино так глубоко вжился в роль Фрэнка Серпико, что однажды, возвращаясь со съемок, оштрафовал какого-то водителя за превышение скорости.