Jak dla potrzeb PIT ustalać miejsce zamieszkania podatnika?

Nasz pracownik dostał wezwanie do US celem złożenia wyjaśnień nadpłaty podatku dochodowego od osób fizycznych za 2018 r. Problem polega na tym, że podatnik ten w ciągu roku podatkowego przekroczył długość pobytu o 183 dni. W związku z tym nasz zakład od miesiąca po przekroczeniu 183 dni pobierał zaliczkę na podatek dochodowy na zasadach ogólnych, a na koniec roku wystawił PIT-11. Urząd skarbowy wzywa podatnika do przedłożenia oświadczenia o przekroczeniu pobytu o 183 dni oraz o podanie miejsca zamieszkania na terytorium Polski. Niestety pracownik ten wykonuje prace na budowach i mieszka wyłącznie w hotelach. Urząd skarbowy stoi na stanowisku, że w związku z tym nasza firma nieprawidłowo pobrała zaliczkę na podatek dochodowy.

Czy urząd skarbowy ma racje?