Jakie są ograniczenia dotyczące możliwości skorzystania z ulgi odsetkowej?

Podatnik we wrześniu 2004 r. sprzedał mieszkanie zakupione w 2001 r. Uzyskaną kwotę przeznaczył na spłatę kredytu, zaciągniętego w styczniu 2004 r. na zakup nowego mieszkania. W 2009 r. urząd skarbowy zażądał 10% podatku ryczałtowego od kwoty sprzedaży, ponieważ podatnik skorzystał z tzw. "ulgi odsetkowej" z tytułu tego kredytu. Podatnik skorygował więc zeznanie roczne za 2004 r. rezygnując z odliczania odsetek, jednak urząd stoi na stanowisku, że powinien skorygować wszystkie zeznania (za 2005, 2006, 2007 i 2008 r.).

Czy takie stanowisko jest słuszne, jeżeli kwota spłaconego w 2004 r. kapitału automatycznie zmniejszyła odsetki odliczone w kolejnych zeznaniach?