Can't afford - gerund czy infinitiv?

Czy po wyrażeniu can't afford używamy gerunda czy infinitivu? Widziałam obie formy i teraz już nie wiem.
Z góry dzieki.

can't afford to do sth

infinitive