Dass du keinen Einfluss darauf haben kannst, ob die Ex mit der Oma oder Uroma ihres Kindes Kaffee trinkt, sollte klar sein. Ebenso logisch ist, dass du dem Sohn deines Freundes nicht verbieten darfst, seiner Mutter etwas zu zeigen, auch wenn sie dafür euren Bereich betreten muss.
Ansonsten solltest du mit deinem Freund sprechen, dass man eine Lösung findet, die für alle Beteiligten angenehm ist. Bisher scheint mir deine Geschichte nämlich ein klassischer Fall von "Freund hält sich schön aus der Sache raus, obwohl er mittendrin steckt".