Mit diesem Verhalten musst Du nicht klar kommen, sondern klare Grenzen setzen.
Was macht und sagt Dein Mann dazu?
Ihr solltet dringend beide zusammen das Gespräch suchen mit dem Nachbarn und ihm klipp und klar sagen, wenn er noch einmal Eure Wohnung unaufgefordert betritt, dann ist das Hausfriedensbruch und droht ihm mit rechtlichen Konsequenzen. Aber das müsst ihr zusammen machen.