Gute Frage
Ich denke in erster Instanz ist es Dein eher schlechtes Gewissen und Dein Wesen, was dafür sorgt, das Du Dich zu Deinem Partner (wieder) mehr hingezogen fühlst.
Das man schwerlich mit jemandem (die Affäre selbst ausgenommen) über die Affäre sprechen kann, ist klar. Es soll schliesslich unentdeckt bleiben.
Was in gewisser Weise hilft, ist wie hier darüber zu schreiben, oder sich, so möglich, mit der Affäre auseinander setzen und die "Probleme" auf den Tisch bringen.
Ob das Gewissen Dich jemals "loslässt" kann ich nicht sagen, das hängt von Dir selbst ab. Trennt man Affäre und Beziehung klar UND lässt man Gefühle, so möglich aussen vor, ist es leichter (nicht leicht!!!) dieses "abzulegen" oder zu "vergessen".
Meist gibt es 2 Varianten. Zum einen verliebt man sich ggf. in seine Affäre und steht vor einer sehr schweren Entscheidung, so einem der eigene Partner (noch) etwas bedeutet oder man hat nur das Abenteuer gesucht und löst sich recht schnell weil die Affäre alltäglich / langweilig geworden ist.
Du könntest Dir jetzt sehr gut vorstellen, eine Familie zu gründen, Kinder zu bekommen und Dein Leben in geregelte Bahnen zu leiten. Wie kam es überhaupt dazu, das Du Dich auf diese Affäre eingelassen hast? Wer hat den ersten Schritt in diese Richtung gemacht? Wie sieht Deine Affäre, Deine jetzige Sicht der Dinge?
Das wäre sicher hilfreich um Dir Tipps geben zu können. Fertig werden damit, musst Du trotzdem selbst. Das hier kann Dir nur etwas die Last nehmen.