Instale algum programa do tipo overlay para verificar o desempenho do computador durante o jogo (MSI Afterburner dá uns em tempo real legais, mas até um HWMonitor serve).
Aí verifique como está o % de uso de cada componente. Se o CPU estiver no talo em 100%, trocar a placa de vídeo não vai ajudar em basicamente nada - gargalo é o CPU. Se a memória estiver lotada e o resto de boa, a perda de desempenho pode ser devido a falta de memória (forçando tudo a parar enquanto memória é liberada para o próximo passo, só para então encher ela denovo).
Se a única coisa que não estiver em 100% for a placa de vídeo, sim, haverá um ganho de desempenho.
Coisas a se considerar:
20 FPS é bem baixo e portanto vai exigir menos do CPU no geral. Se você estiver com 80% do uso do CPU da forma que está, por mais que o CPU não seja o gargalo atualmente, ele vai se tornar o gargalo quando as outras peças aguentarem mais do que esses 20 FPS.
Esse computador é bem velho. Talvez saia mais em conta pegar um computador moderno com placa de vídeo integrada. Os jogos que você quer funcionariam em algo assim, e um kit upgrade de CPU+Placa Mae+Memoria sai na faixa dos 1500 que você gastaria numa placa de vídeo.
Terabyteshop, Kabum, e Pixau são as lojas online mais comuns. Pessoalmente pode ou não conseguir preços melhores, mas aí depende da sua cidade.