Deco3d

Volto a dizer, plataforma antiga com placa nova, e como mencionaram, clock baixo pros jogos de hoje, 3,06 de boost do 5650 é pouco. Vai dar gargalo e você mesmo viu que está esquentando. A temperatura indicada pros pro 5650 carga máxima é na casa dos 81 graus, no site da própria Intel. Mas manter abaixo disso com um bom cooler pra mim é o ideal. LGA 1366 esquenta muito, então já viu.
Eu usaria uma boa pasta térmica, eu gosto da Mastergel Maker da Cooler master, é um pouco cara e chata de aplicar, mas vale cada centavo pra um dinossauro desses. Tem também a OCX da PCYes e uma da Akasa 450 Silver (tem que tomar cuidado pra aplicar essa) de quase 10 de condutividade térmica, que não tão são caras e muito boas.
 
Tem a questão da sua fonte também, qual a marca dela? Dá uma olhada nas tensões do HWMonitor ou HWInfo. É antiga? E do seu gabinete e se a ventilação está boa.
 
Ou você pega um processador, mais forte, com clock mais alto, ou aceita reduzir o nível de detalhe e resolução até ficar jogável ou faz over pra tentar reduzir o gargalo (isso se o 5650 for desbloqueado). Te indiquei os canais do YouTube pra você ver que a realidade de muitos com socket antigo pra poder jogar direito é essa.
De qualquer forma, no mínimo eu melhoraria a refrigeração, tem bons coolers e fans, baratos que são compatíveis com LGA1366 e que você vai poder reaproveitar pra uma possível máquina LGA 1200, 1151, AM4, etc.. no futuro.
 
Acho que quando você chega nos 12gb ou algo mais em triple channel de ram e algum desses processadores que eu citei dessa família, já é o limite do que eu gastaria, fora a placa de vídeo que você já tentou melhorar.
É chato, tb gosto muito dessa geração, mas tem que aceitar as limitações e os gastos e riscos pra poder ter bom desempenho.
 
 Enfim, tenta melhorar pelo menos as temperaturas, não é possível que não ajude em alguma coisa.