Se for um PC desktop de um usuário comum, que possua placa de vídeo, eu prefiro sempre baixar o driver de vídeo mais novo diretamente do site do fabricante do chip, pois há correções mais correntes e rápidas. Por exemplo, os drivers novos da AMD e Nvidia para as Radeons e GeForces, respectivamente, lançam atualizações para corrigir bugs, melhorar desempenho e adicionar perfis mais otimizados para os jogos em relação à placa utilizada.
Não descarto o Beta em casos especiais, pois já me ocorreram casos de os drivers estáveis, tanto de fabricante quanto da Nvidia gerarem instabilidade que o Beta solucionou, como, o do Powermizer (controle de energia das placas Nvidia) não funcionar, deixando o clock sempre no máximo, fazendo assim, a placa funcionar sempre quente por nada.
Em termos de AMD, prefiro baixar os drivers da fabricante, pois os chipsets AMD são muito chatos em relação a atualização de drivers direto do site dela. As atualizações de chipset são Ok, mas as de SATA/AHCI e RAID são bem problemáticas. De preferência, procure usar os drivers SATA/AHCI nos chipsets AMD que vieram com o Windows. São mais estáveis, e a performance é boa, e irá poupar a futura dor de cabeça de acontecer uma atualização da AMD e deixar o seu Windows não-inicializável. (Experiência própria)
Em termos de Intel, procuro baixar todos os drivers especiais do fabricante da máquina, e baixar o último driver de chipset e placa-mãe direto do site da Intel, pois atualiza os .INF do chipset (corrige bugs referentes ao chipset, USB, e afins), e vêm com atualizações do driver de vídeo (compatibilidade com Flash, jogos, e outros mais). Pra mim, a Intel tem um histórico de base de drivers mais estável do que a AMD. Fazem 10 anos que sigo este esquema nos computadores puramente Intel (tanto desktop, quanto notebook), e não vejo colateral algum.
Eu me atento também, quando há disponível, atualização de BIOS. Normalmente, faço isto somente em computadores modernos com DualBIOS, pois é mais fácil reverter para a BIOS anterior se der algo errado. Se olharem o site dos fabricantes, um upgrade de BIOS pode melhorar a compatibilidade de processadores e memórias, adicionar recursos novos, corrigir bugs, aumentar a estabilidade, entre outras coisas.