Das Kondom wegzulassen, obwohl es anders abgesprochen war könnte sogar einen Straftatbestand erfüllen (Az.: 3 StR 372/22). Mindestens war es aber übergriffig. Sowas geht gar nicht.
Ausserdem: Du bekommst Panik und er hört erst nach ca. 10 (!) Sekunden auf?? Gerade in einer solchen Situation sind 10 Sekunden seehr lang. Wie abgestumpft muss man als Mann sein, um das zu ignorieren? Lass Dir nichts einreden - Dein Freund hat gehörig Mist gebaut! Aus meiner Sicht ist das "kein echt toller Mann", den Du da an Deiner Seite hast. Da kann er sonst noch so liebenswürdig sein - spätestens bei so einer Aktion dürfte der mir nicht mehr zu nahe kommen.
Du schreibst Du hattest schon einmal schlechte Erfahrungen mit einem Ex-Freund, der "etwas" gegen Deinen Willen getan hat. Und jetzt beschreibst Du Dich als "empfindlich" und zweifelst an Deiner Wahrnehmung und lässt Dir womöglich vom aktuellen Partner einreden Du würdest überreagieren. Es klingt für mich nicht danach als ob Du das damals Erlebte aufgearbeitet hast und das macht Dich womöglich anfällig für Manipulation wenn sie von einem Mann nur schön verpackt rüberkommt.
Hör auf Dein Bauchgefühl - Du bist nicht "empfindlich"! Hol Dir bitte Unterstützung und rede z.B. mit einer guten Freundin über den Vorfall. Es gibt auch Beratungsstellen (z.B. von N.I.N.A. e.V. 0800 22 55 530) an die Du Dich wenden und anonym mit jemandem darüber reden kannst - auch wenn Du unsicher bist ob es sich um einen Missbrauch handelt. Du bist nicht allein!