Ich würde in so einem "Fall" immer tippen, dass der Mann nach Aufmerksamkeit, Bestätigung und Abwechslung sucht. Er flirtet vermutlich mit Dir weil es ihm einen Kick gibt und er sich den langweiligen Alltag versüssen möchte. Gefallen tust Du ihm bestimmt auch, aber mehr wohl nicht.
Was ich mich an Deiner Stelle eher fragen würde: Warum tangiert Dich das so sehr? Was fehlt Dir in Deinem Leben, dass Dich die Aufmerksamkeit eines verheirateten Mannes so beschäftigt?
Du sagst "Aber schön für die Frau kann das ja auch nicht sein". Warum gehst Du davon aus, dass seine Frau davon weiss? Vielleicht ist er zuhause ja der aufmerksamste und liebevollste Partner? Hast Du die beiden schon einmal zusammen erlebt?
Sind wir mal ehrlich: Die Wahrscheinlichkeit, dass er sich Hals über Kopf in Dich verliebt hat, tendieren gegen Null. Vielmehr liegt es nahe, dass er sich auch mit anderen Frauen so wie mit Dir verhält und sich nichts dabei denkt. Du bekommst es ja nicht mit.
Selbst wenn das mit Euch auf eine ernstere Ebene kommen würde, wenn Du darauf eingehst: Möchtest Du das wirklich? Spätestens wenn ihr dann selbst ein Paar seid, würde es Dich irgendwann beschäftigen, ob er Dich nicht genauso "austauschen" würde, wie er es jetzt möglicherweise mit seiner seine Frau tut.