Pode ser seu roteador, a velocidade contratada, o cabo de rede que você usa, o pc em que você esta testando, a rota que o seu provedor fornece, a regiao em que você reside, o sinal da fibra optica,( deve estar entre -18dbm~-29dbm), a qualidade do seu provedor, a estabilidade do servidor do jogo, DNS ( deixo o do google 8.8.8.8/8.8.4.4), Drivers do seu pc, uso de memoria ram, espaço vazio, são finidades de coisas que interferem, elimine as que são de sua competência e caso o problema persistir, troque de provedor.
adicionado 4 minutos depois
@GvsGevs Acredito que eles estejam certos, maioria das vezes é problema com servidor, é difícil os jogo assumirem esse fardo, mas 70 a 80 % do motivo de ping alto é problema de servidor.
adicionado 5 minutos depois
@GvsGevs Mas como você disse que isso acontece com todos os jogos que você joga, talvez seja problemas que citei acima.