Perdas de pacote e ping alto

[SyllasxL]

Olá pessoal, ultimamente eu tenho tido problemas com ping alto e perda de pacotes na minha internet. Não impora qual jogo eu jogue, o ping começa a oscilar e dar umas travadas (League of Legends principalmente).
Eu achei que fosse apenas problemas no jogo, a qual as vezes é. Mas desta vez eu fiz testes com vários jogos e tive o mesmo lag.
Em relação a stream de vídeos, as vezes carrega rápido em 720p e outras vezes começa a parar.
Minha internet é 3MB e minha provedora é local (WebNet) mas eles compram internet com a ItsWeb
Sobre o meu roteador, é um LinkOne N 300Mbps, eu tenho conexão PPPoE, moro em um local meio urbano e meio rural. Uso QoS porque moro com mais 3 pessoas, tenho poucos visinhos e uso um IP padrão diferente (192.168.2.1) pra não haver conflito.
Será que este problema está relacionado com o meu provedor? Ou o local onde moro? Ou alguma configuração errada?