Czy zamawiający może w jakiś sposób uchylić się od wystawienia referencji wykonawcy?

Inwestor zawarł umowę ryczałtową na wykonanie budynku użyteczności publicznej. Inwestycja została zrealizowana w terminie, jednak pojawiają się po odbiorze końcowym coraz to nowe usterki. Ponadto współpraca z wykonawcą nie należała do przyjemnych, na budowie trwały ciągłe "przepychanki". W chwili obecnej wykonawca wystąpił do zamawiającego z prośbą o wystawienie referencji za zrealizowane roboty. Zamawiający nie chce po prostu wystawić wykonawcy referencji.

Czy może on w jakiś sposób uchylić się od ich wystawienia?