Dein Ex hat alle Rechte, die auch ein leiblicher Vater hat. Dadurch dass er die Vaterschaft anerkannt hat gilt er als gesetzlicher Vater und hat die gleichen Rechte wie du. Das Sorgerecht schränkt es natürlich ein, aber darum könnte er kämpfen. Und gewinnen, sofern kein Grund gegen gemeinsames Sorgerecht spricht.
Das Jugendamt und Gericht wird nicht interessieren, ob dein Ex der leibliche, der biologische Erzeuger ist. Er ist der rechtliche und scheinbar auch der soziale Vater. Das reicht. Damit hat er gewisse Rechte, Pflichten natürlich auch.
Du könntest die Vaterschaft anfechten. Allerdings könnte sich das schwierig gestalten, je nach Alter deines Kindes. Denn anfechten lässt sich eine Vaterschaft nur bis zu zwei Jahre ab Kenntnisstand der Nicht-Leiblichkeit. Du weißt sicher seit der Zeugung, dass er nicht der Vater ist. Demnach kannst du nicht Jahre später kommen und das ändern wollen. Da macht der Gesetzgeber nicht mit. Wenn dein Kind noch sehr klein ist, dann ginge es.