Mide el voltaje que hay a la entrada del regulador, eso de tener dos tensiones distintas conectadas a la vez a la entrada del 7805, no creo que pueda funcionar bien.
Reemplaza D2 por un diodo schottky y sube el voltaje de la batería al menos a 7.7 voltios.
Lo ideal es que tanto la fuente, como la batería suministren el mismo voltaje, y ten en cuenta que a la entrada del 7805 tienes que tener al menos 7.5 voltios. Si metes diodos 1N4004 le estás restando 0.7 voltios tanto a la tensión de la fuente, como a la de la batería. Con diodos schottky la caída de tensión es mucho menor, de 0.1 ó 0.2 voltios.