Boa noite paulo , obrigado pela resposta detalhada, o que já fiz ai antes de mandar mensagem aqui foi a instalação de limpa dos drivers mais recentes da placa sem sucesso, o meu setup completo é o seguinte :
placa-mãe Gigabyte GA-Z68XP-UD4
cpu Intel Core i7-2600K, 3700 MHz (37 x 100)
memória 12gb ddr3 1600mhz Patriot Memory 1600EL Series
fonte c3 tech puc 1200v 1200 watts modular
vga EVGA NVIDIA GeForce GTX 1080 FTW
hd seagate ST2000DM001-9YN164 (2 TB, 7200 RPM, SATA-III) e ssd 256gb
water cooler corsair h55i
gabinete Cooler Master Elite 311
monitor uso uma tv lcd da phillips fullhd de 32
Vou fazer esse teste das linhas de tensão, apesar de usar uma gtx970 antes e nunca ter problema algum, se não achar nada errado vou instalar o windows do 0 em outro hd pra eliminar problemas de software.
O overclock fiz por poucos minutos e como não deu diferença já voltei pra stock