Lag com servidores de amigos

[Gien]

Boa tarde, eu estou tendo problemas com um colega meu, nós temos a mesma operadora mesmo tanto de gb de internet (15GB) e Quando vamos jogar juntos no caso nós criamos os servidores, quem cria não fica com ping alto mas quem conecta fica com 300+ isso acontece no Garry´s Mod  (steam),  Doom (no-steam), ou seja, quandos nos conectamos por lan acontece isso, moramos muito perto um do outro o que eu posso fazer para arrumar ?