Ich verstehe nicht ganz, warum du denkst, dass du auf ihn als Ansprechpartner/Arbeitskollegen so angewiesen bist?! Es gibt doch noch mehr Kollegen, die du fragen und um Hilfe bitten könntest, wenn du bei einer arbeitstechnischen Sache nicht weiter weißt, oder nicht?
An deiner Stelle hätte ich seine Nummer schon längst blockiert und gelöscht und würde ihm konsequent aus dem Weg gehen. Du musst auch nicht mit ihm zusammen Pause machen, das könnte man sicher umgehen, indem man nicht zu genau der selben Zeit Pause macht, nehme ich mal an. Und wenn du eine Frage hast, wende dich einfach an einen anderen Kollegen.
Ich gebe meinen Vorrednern Recht, er hat dein Verhalten falsch interpretiert. Wenn ein Mann so drauf ist, muss man sehr deutlich Grenzen setzen, unmissverständlich! Bei so jemandem ist ein nettes neutrales Verhalten auch nicht (mehr) möglich, da er es wieder als Chance verstehen könnte. Da musst du jetzt eben hart sein und konkrete Grenzen setzen.
Sieh es als Erfahrung und lerne daraus. Der diplomatische nette Weg ist leider nicht immer der richtige, vor allem bei so einem Exemplar von "Mann".