Internet "LAN" caindo toda hora e lenta

[shypers]

Minha internet funcionava normalmente, ai do nada, ela começou a cair +/- a cada 3~6 segundos. 
Todas as luzes do modem (TP-LINK TD-8816) ficavam acesas quando isso acontecia, mas percebi que a luz especialmente LAN dava uma breve apagada. 
O cabo do modem LAN é ligada no roteador wireless D-link DL-524 na porta WAN, e a porta 1 do wireless eu ligo direto no computador. 
Experimentei colocar o cabo LAN do modem direto no computador, e funcionou normalmente sem problemas de queda algum, porém, ai limitava o acesso das pessoas que usavam a internet wi-fi, pois elas ficavam sem acesso. 
Como eu posso resolver isso?