Czy podatnik VAT jest zobowiązany do posiadania konta bankowego?

Prowadzę niewielki sklep, jestem podatnikiem VAT, prowadzę księgę przychodów i rozchodów, a podatki wpłacam w kasie urzędu skarbowego. Posiadam konto bankowe związane z działalnością gospodarczą, ale opłaty za przelewy i za prowadzenie konta są wysokie. Gdy występuje u mnie nadwyżka podatku naliczonego nad należnym zawsze przenoszę go na następny miesiąc. Nigdy nie otrzymałam zwrotu VAT.

Czy jako podatnik VAT muszę utrzymywać konto bankowe? Czy mogę zrezygnować z posiadania konta, a w razie zwrotu podatku założyć je ponownie?