Felipe Yoshino

@Saisei
você está usando célula fotovoltaica na entrada? 
Precisamos que poste para nós exatamente o que está ligado a esquerda do circuito, na entrada, onde você descreveu como + e -
 
Pelo que me parece, sua fonte de energia não tem potência necessária para alimentar o celular.
Funciona assim:
Quando a saída do circuito alimenta apenas o led, a potência dissipada é baixa, ou seja, sua fonte de energia dá conta de manter a tensão na entrada estável, manter o capacitor de 100uF carregado com a tensão de 9V e manter uma pequena corrente que o regulador 7805 consumirá para manter 5V na saída, onde o  led está aceso.
 
Quando você pendura a carga (celular) na saída USB, o LM7805 exige uma corrente da sua fonte de alimentação. A princípio, o capacitor de 100uF que está com uma carga armazenada vai dar conta de manter a tensão na entrada maior que a da saída, como se você tivesse uma "reserva" de potência por 1 ou 2 segundos. Assim que o capacitor começar a descarregar, a tensão na entrada que era de 9V passará a cair e cair, porque a corrente exigida pelo celular ultrapassa a corrente máxima que a sua bateria/célula fotovoltaica pode enviar. 
Se estiver usando a célula para carregar uma bateria, verifique a compatibilidade entre eles, compartilhe conosco o que está usando.
 
Faça um pequeno teste com um carregador e um multímetro: Coloque em uma escala de tensão contínua (VDC), deixe a ponta de prova negativa do multímetro no pino 2 do 7805 e meça com a vermelha no pino 1. Tem que dar a tensão de entrada de 9V. Depois, apenas troque a ponta vermelha para o pino 3 e veja se bate exatamente 5V.
Ligue uma fonte de 9V na entrada do seu circuito. Pode ser de antena de TV, receptor de canais, reteador... Respeite a polaridade. Refaça os testes. 
Apenas ligue o celular quando estiver certificado de que há 5V na saída do circuito. Se o celular derrubar a tensão novamente, há um erro na ligação do seu Jack USB.