Isso que você retirou se chama thermalpad, é recomendado colocar outro no lugar, ele tem uma função igual a da pasta térmica, a gente encontra muito em placas de vídeo, mas após retirado não é recomendado reutilizar(quando estão na situação que descreveu). sobre a pasta térmica, ela nem sempre estabelece um bom contato com o dissipador quando utilizada nesses casos(as vezes a distancia do componente ao dissipador, apesar de a nossa vista milimétrica, é muito grande, assim a pasta térmica, por melhor marca que seja, não consegue realizar bem seu trabalho) , e sobre os thermalpad, ainda existe também uma variação do tamanho "grossura" deles, alguns são de 1mm e outros de 2mm, precisa procurar o ideal para seu uso. Caso mesmo após essas etapas continue esquentando, verifique no datasheet se é normal, e se for, utilize o que foi recomendado pelo amigo, o cooler. Caso não tenha o tamanho ideal veja a possibilidade de fazer uma gambiarra kkkk.