是否該放棄這段愛情了?

跟男友在一起3年多了
他對我真的很好也很愛我
我也真的很愛他
但我知道在還沒認識我之前.他有認識一個女生
他們很談的來.我男友那時狂追她.但因那女生的家人反對.就沒再一起了
雖然過了很久
但男友跟我說到現在他還是很欣賞那女生~
我聽了有點難過.我說如果有機會讓你們再次相處
你會對她動心嗎?
他說不會.現在愛的是我.
但是我感覺的出來.其實男友在心理某方面其實還是喜歡她的..我會覺得我這樣好像是第二.是替身.
有疙瘩.所以很難過.
我好想放棄這段感情了.因為就算他在愛我.心裡總是會有個"她"..我不想這樣..
水水覺得我的我的想法會太鑽牛角尖嗎