是不是該拒絕他的邀約了

和他認識是長輩介紹的
出去了四五次,  能聊,  但沒有感覺
現在正處在最尷尬的被催婚時期
但,  沒有感情的婚姻我又無法接受(其實也怕自己嫁不出去吧)
知道他有喜歡我,  但他和長輩說我不太說話,  可能不喜歡他,  實際上是,  我也真的沒有喜歡他(而且我也還不知道他是不是為了結婚而結婚的人)
一堆人和我說感情是要"培養"的,  我也知我不是一個容易投入感情的人,  再加上前段戀情還有些效應在心裡(但知道不會有結果的),  所以想試試,  但我應該要試多久才會知道,  我可能真的對他不會有感情,  我不想因為自己的自私而誤了他的時間,  但也怕自己試都沒試就放棄好像也不對,  我到底該怎麼辦??