我對於新戀情毫無安全感......該怎麼做比較好？

這段新戀情才幾個月
因為對方的女人緣很好
而他也一直都是以這樣的態度對待周圍的女的朋友們
他曾說過
我們兩人在一起
並不用特意去改變對方
因為我們都喜歡對方原來的自己。
只是有時候
在工作場合裡看到他跟其他的女同事
總是走在一起
而其他的不知情的同事
還會誤會他跟別的女生才是一對。
唉
而他之前（跟我在一起之前）就因為分別跟幾位女同事看起來都蠻要好的
而被其他的老師認為他很花心
所以他跟我在一起之後
在工作場合裡
我們仍保持適當距離
所有人都不知道我們在一起了。
他說：這是為了保護我！
他不希望聽到有其他同事批評我是第三者之類的
可是
我卻覺得很沒有安全感
想聽聽大家的想法如何？