O psiquiatra disse que tenho síndrome de asperger, passei por uma avaliação com a neuropsicóloga

Sim, esse diagnóstico pode ser feito após a idade adulta. O TEA tem sido muito debatido nos últimos anos, isso tem nos proporcionado maior conhecimento. Por isso, talvez, seu diagnóstico tenha sido tardio! O toc é uma associação muito comum no TEA.
De qualquer maneira, você está no caminho ideal, a avaliação neuropsicologica e psiquiátrica é essencial para o diagnóstico e tratamento!

Assim como aconteceu com você, existem casos de pessoas diagnosticadas na idade adulta e profissionais com opiniões diferentes a respeito do quadro. Isso tudo acontece.

Normalmente os sintomas do espectro autista (TEA) são identificados precocemente, principalmente as estereotipias e dificuldades sociais. No seu caso os diagnósticos já somam uma grande quantidade de tentativas e erros em identificar o que você tem, qual é o seu sofrimento. Eu recomendaria a busca por um diagnóstico diferencial com um terapeuta menos preocupado em "rótulos" e mais inclinado a ajudar você a superar seus problemas.

É possível sim um diagnóstico tardio. E realmente há profissionais que diferem quanto ao diagnóstico, mas entre autismo leve e Asperger e muito fácil haver certa confusão pois as características são semelhantes. O importante e tu encontrares um profissional que te sintas confiante para que possa te acompanhar e possas tirar tuas dúvidas.

Muitas vezes o diagnóstico só é conhecido na idade adulta infelizmente, embora as características sejam apresentadas desde muito cedo. Agora, a partir do diagnóstico, é importante continuar o acompanhamento com os profissionais que você confia.

Asperger e autismo leve são sinônimos. Hoje o termo Asperger caiu em desuso. Agora o antigo Asperger é autismo leve e faz parte do espectro do TEA. O autismo leve pode passar despercebido, principalmente em mulheres. Quanto aos sintomas de ansiedade, depressãi e TOC são comorbidades bastante associadas ao TEA. Boa parte dos autistas apresentam estes quadros ou como secundários as dificuldades ou como comorbidos.