Enduit qui s'enleve par petite touche au passage de la peinture (intérieur) d'accroche

Bonjour

Après avoir détapisser les murs du salon (fait par l'ancienne propiétaire) et vu que ces derniers avaient pas mal de "défauts" ( plein de tout petits trous sur des zones localisées,etc), j'ai fais un enduit de lissage puis poncé.
J'ai ensuite mis une couche de primaire d'accroche avant la mise en couleur prochainement.
Mon problème est que par endroit le resultat est pas bon, l'enduit s'arrache même sur des petites zones vraiment .

"Ma" question est: d'ou cela peut-il venir ?( une mauvaise texture d'enduit?une mauvaise réalisation de celui-ci concernant l'épaisseur par exemple?
et donc que faire?, poncer à ces endroits précis et donc recommencer localement?
Je me doute bien qu'au final cela apparaitra lors de la mise en couleur et même si le resultat attendu n'est pas la perfection, si je peux rattraper le plus apparant...

Je remerci d'avance les personnes qui pourront me donner leurs avis 😉