Olá.
Estudei bastante o esquema dessa placa e pesquisei bastante sobre a BGA dela, e pude ver que esse chipset quando utiliza um processador Celeron D560 , que é o que existia na placa, limita a memória a 2Gb. Quando ultrapassa de 2Gb entra no loop porque não gerencia a memória.
Porém quando troca a CPU para a opção de Pentium Dual Core, ele permite a utilização de até 3Gb de memória, que é o máximo suportado por este chipset.
Sendo assim, após troca de processador, o upgrade de memória para 3Gb foi permitido e a máquina ficou bem mais rápida, como deveria ser, portanto o problema foi resolvido.
Obrigado @LEONTEC e @luciana336pela força!