Czy starosta może odmówić wydania pozwolenia na budowę, jeśli grunt zmienił użytek z RIIa na B?

W 2018 r. otrzymałam decyzję na wyłączenie gruntu z produkcji rolnej na budowę budynku jednorodzinnego. Do powyższej decyzji załączono mapę z wyznaczonym terenem do wyłączenia - w opisie tkwi napis "planowany teren do wyłączenia". Obecnie ten planowany teren do wyłączenia wg ewidencji gruntów wygląda inaczej i jest gruntem o użytku B, a nie RIIa, jak było wcześniej. Obecnie planuje na tym terenie postawić garaż, lecz starosta nie wyraża zgody, gdy obecny teren nie jest taki sam jak we wcześniejszej decyzji o wyłączeniu gruntów z produkcji rolnej.

Moje pytanie brzmi - czy starosta na tej podstawie może odmówić wydania mi pozwolenia na budowę?