Czy można postawić budynek gospodarczy lub garaż lub wiatę bez odralniania fragmentu działki?

Na działce, dla której nie ma planu miejscowego, o pow. około 1300 m², z czego 499 m² tej działki zostało odrolnione i na tej odrolnionej części, na podstawie pozwolenia na budowę powstał całoroczny dom jednorodzinny. Teraz właściciel na pozostałym terenie, tym który jest nieodrolniony, chciałby postawić budynek gospodarczy lub garaż lub wiatę. Właściciel nie jest rolnikiem ani nie prowadzi działalności rolniczej.

Czy może to zrobić bez odralniania dodatkowego fragmentu działki?