Acredito que finalmente consegui identificar o problema, com base na sua dica rodei o antivírus, mas não acusou nada, procurei todos os programas que estavam rodando e vi um em especifico que me chamou a atenção: "GPURiseAgent.exe"
Ao fechar esse programa já percebi que a memoria que estava sendo utilizada abaixou imediatamente.
Ao pesquisar sobre esse programa não achei muita coisa.
Vi em outro fórum que algumas pessoas informaram que esse programa veio junto com a atualizam do windows 10, tenho a atualização, mas pra falar a verdade as datas não coincidem, portanto não posso afirmar ao certo de onde veio esse programa.
Na pasta possuíam apenas esses dois arquivos "GPURise" e "GPURiseAgent", são da empresa "GPUTech inc."
Após deletar esse programa o desempenho voltou ao normal
Obrigado a todos pelas dicas, mas se alguém souber do que esse programa se trata, se realmente é um vírus minerando cryptomoeda por favor deixem aqui alertando.