Na família do meu pai (tios , primos, ) , há várias pessoas com deficiência mental. Será que todos

Acredito que a dificuldade possa estar relacionada á falta de estimulação e efeitos biológicos, na genética familiar. O que vai diferenciar, é a história de vida e o contexto, como ocorreu o nascimento e desenvolvimento sócio cultural.

A família tem uma pré disposição para ter doenças mentais, por estar na genética familiar, porém não é via de regra. Quando há familiares com doenças mentais é preciso ficar alerta com qualquer sintoma inóspito que possa surgir e evitar uso de drogas e álcool, essas substancias podem desencadear problemas mentais em pessoas que tenham pré disposição para tal. Se este fato o incomoda, causando medo e até projetando sintomas, seria bom iniciar uma psicoterapia. As vezes sua mente cria sintomas que não existem por acreditar que se sua família tem, você terá, e isso nem sempre acontece, você é um ser único e individual.

Olá o retardo mental pode ocorrer decorrente há vários problemas, tais como falta de oxigenação no parto, problemas genéticos, síndromes entre outros. O que era comum em famílias antigamente era o casamento entre primos o que pode acarretar problemas no feto.

Para lhe dar uma resposta mais personalizada é necessario saber que tipo de doença mental os membros da família apresentam.

Não dá para identificar, pela sua pergunta, o que lhe leva a pensar que os demais parentes possam ter uma deficiência mental. Só posso confirmar que a carga genética influi diretamente em um possível nascimento com deficiência mental.
Recomendo consultar um neurologista para uma avaliação mais aprofundada.
Desejo sucesso! Sempre às ordens!