gabriela_goes,
Todos os procedimentos que você informou foram na parte de hardware.
Como está o software?
Um resistor de 8R em 12V tem uma corrente de 1,5A e gera uma potência de 18W. Se o resistor não for compatível com essa potência, vai torrar.
Minha sugestão é que você, para os testes, substitua o motor por uma lâmpada de 1W ou 2W/ 12V, que manterá uma corrente baixa e aceitará corrente nos dois sentidos que a ponte pode fornecer, coisa que não acontece com LEDs.
Para girar num sentido, deverão conduzir BHO e ALO.
Para girar no sentido inverso, deverão conduzir AHO e BLO.
A velocidade poderá ser controlada por PWM na entrada ALI, com BLI em zero para um sentido, invertendo-se essa condição para o outro sentido (PWM em BLI, ALI em zero).
No seu esquema não aparece a forma de comandar o PIC para ligar/desligar o motor, bem como para alterar o sentido de rotação e a velocidade. Como isso é feito?
gabriela_goes,
O datasheet do IRF1404 indica os seguintes parâmetros:
40V / 202A / Qg= 131nC
Para conduzir, é necessário carregar o gate (como se fosse um capacitor). Por isso, não acho que seja interessante colocar um resistor de pulldown. Esse resistor não permite uma carga rápida do capacitor do gate (porta).
A quantidade de carga para esse transistor chavear é muito grande, necessitando uma corrente muito alta, que o HIP pode não estar capacitado a fornecer. Talvez uma solução é a colocação de um resistor entre o HIP e os gates dos transistores, para limitar as correntes de carga dos gates.
O datasheet do IRF530N fornece os seguintes parâmetros:
100V / 17A / Qg=37nC
Um transistor muito mais fácil de chavear. Necessita menos corrente para carregar o gate.
Talvez a substituição dos MOSFET IRF1404 por outros com capacitâncias menores dos gates possa solucionar o seu problema.