Aspectos que podem alterar a taxa da conexão podem estar relacionados a:
posição da antena: a antena deve estar sempre na posição vertical, supondo que a sua antena seja omni (a mais comum)
Problemas de propagação de sinal através de barreiras, tais como espelhos, paredes grossas, outras fontes de interferência eletromagnética como base de telefone sem fio ou reatores de lampadas fluorecentes, etc.
O canal utilizado pode estar com alta ocupação ou excesso de interferências. Você pode avaliar qual é o canal ideal usando um aplicativo chamado Wifi Netrwork Analizer e ele mostra através de estrelas verdes qual é o melhor canal para você usar no local que o Roteador está instalado.
Eu já vi algumas vezes o driver ser o limitador da conexão, mas não creio que seja esse o caso. procure utilizar o driver da adaptadora fornecido pelo fabricante, mesmo sendo o driver reconhecido sem problemas pelo kernel do Linux, faça o teste de usar um sistema botável por pendrive para se certificar, caso a causa não seja nenhum problema relatado acima