Czy pracodawca może dokonać zmiany komórki organizacyjnej, w ramach której zatrudniony jest społeczny inspektor pracy?

Czy można zmienić komórkę organizacyjną w strukturze pracownikowi będącemu SIP bez jego zgody, jeśli w umowie o pracę miejscem wykonywania pracy jest cały oddział?