Czy zamawiający ma prawo bez zgody wykonawcy dokonać kompensaty należności głównej oraz kar umownych z należności przysługującej wykonawcy?

W umowie pomiędzy inwestorem i wykonawcą zawarto następujący zapis "wykonawca zapłaci zamawiającemu karę umowną w terminie do 10 dni od daty wystąpienia przez zamawiającego z żądaniem zapłacenia kary. W razie opóźnienia w zapłacie zamawiający może potrącić należną mu karę z dowolnej należności przysługującej wykonawcy względem zamawiającego." W związku z takim zapisem zamawiający potrącił wykonawcy wysokość naliczonej kary z należności głównej. Kwestia kar jest przedmiotem sporu pomiędzy stronami.

Czy zamawiający ma prawo dokonać bez zgody wykonawcy kompensaty należności głównej oraz kar umownych i wypłacić tylko różnicę?