O pende de memória DDR3 de 4Gb (slot 1) é de 1600MHz, e o pende de 2Gb (slot 2) é de 1333MHz. Mas ambas trabalham na frequência da menor, obviamente.
Sua MB (Intel MAHOBAY) consta trabalhar com processadores Sandy Bridge e para suportar os de terceira geração (Ivy Bridge) provavelmente teria que atualizar o BIOS. Como a MB é antiga e a data do atual BIOS é 2018 (recente), dificilmente achará alguma atualização. Então eu não ariscaria um processador de terceira geração, infelizmente. Ainda nos processadores Sandy Bridge, você poderia usar um i7-2600, mas não valeria o custo benefício, uma vez que o preço deste aqui no BR é abusivo e sua intenção é de pouco gasto. Assim tmb como trocar sua placa de vídeo para uma RX570 acredito ser algo fora de cogitação, que acarretaria tmb na troca da fonte, caso genérica a atual.
Importante dizer que sua GT1030 tem memória DDR4, e não DDR5, possivelmente tmb isto está limitando bastante a performance do seu PC.
Portanto, gastando pouco, você fica limitado a um outro pente de memória DDR3 de 4Gb, no mínimo.