Sim, o notebook tem que ligar mesmo sem a bateria.
Esse tipo de bateria não pode zerar a carga, como vc mencionou que mesmo apertando o botão da bateria ele não acende nenhum led, presumo que ela esteja totalmente (ou quase zerada), se for isso mesmo o circuito de carga do notebook não vai conseguir reanimá-la, você tem duas opções, trocá-la ou levar para alguém que tenha um equipamento para recuperar a bateria.
Caso não seja esse o problema, respondendo suas outras perguntas, sem a bateria a tensão que vai ter nos terminais da bateria na placa do notebook será próximas de 19V pois não tem carga, e com a bateria conectada, caso ela esteja boa e dependendo da carga, entre 10v e 11,4.