A prioridade no seu caso é investir numa placa top.
recomendo gtx970 pois assim não precisará trocar a fonte.
Não é necessario trocar a placa mãe, se achar o desempenho ruim troque o seu i3 por um i5 usado compativeis com sua placa.
8 gigas de memoria são suficientes, porém é interessante colocar mais memoria se sua placa atual suportar.
Em resumo: dê prioridade para a placa grafica, depois processador e memoria, mantenha sua placa-mãe mesmo se tiver de usar componentes usados (ache no mercado livre).
Justifico: em minhas cpus não vejo muita diferença de desempenho, (exceto em qualidade maxima).
I7 3770, 32Gig RAM, amd R9 290
quad 9550, 16 Gig RAM, geforce gtx 470
Na verdade, upgrade valido atualmente pra mim é só de gpu (placa de video).
Não é necessario trocar a placa mãe, se achar o desempenho ruim troque o seu i3 por um i5 ou i7 usados compativeis com o soquete da sua placa mãe.