Uso de GPU caindo drasticamente

[vNUNES7]

Boa noite Pessoal, Tranquilos?

Estou com um problema que anda me incomodando um pouco. Enquanto estou jogando as vezes o uso de GPU cai de 90/100% para uns 20/30%.
O jogo é o fortnite, e não é sempre que acontece, as vezes fica uns 10/15 minutos sem ocorrer e ai acontece.

placa-mãe: MSI B550M PRO VDH WIFI
Processador: R7 5700X3D
Placa de Vídeo:  DUAL-RX580-O8G
16GB de memória RAM da Pichau Vulcan 3200MHZ
Fonte: MSI MAG A650BN

Possuo 2 SSD E 1 HD externo um SSD este com o Windows e o outro SSD está somente o Fortnite.

A temperatura no geral durante o jogo fica de 55~60 Graus do Processador e 60~70 Graus da placa de Vídeo.

Obs.: Já fiz um downgrade de drivers da AMD Adrenalin e possuo a minha placa de vídeo um pouco mais de 4~5 anos.