這樣的我和他該繼續嗎!!

我離婚後一年認識了我現在這男友,原本已不再相信愛情,但來的時候任誰也無法阻擋!剛認識他時正要去當兵倒數5天,當兵後對我的好是無法言喻,但周遭的朋友卻提醒我當兵時的個性不是本性,因我身陷其中,所以不太相信朋友的講法,直到今天我才漸漸的完全領悟,但現在卻已和他交往5年了!
退伍後常因吵架而掛我電話,或把市內電話丟一邊,而在另一頭的我因不甘心電話被丟著而馬上拿起手機打過去,但他卻沒接聽而是直接電話關機,那陣子的我真是生不如死常常因此而失眠,每晚要伴酒入睡,而每次我卻以他工作壓力大或退伍後須適應兩人相處的模式做為原諒他的藉口,演變至今他可以不顧我的反對而跟他同事去喝酒聚餐,電話打去理論也是打了就關機,而也可以不管我的假期載他家人去親戚家,他很孝順,所以只要媽媽開口絕不推拖,覺得不管任何事他都可以不管我的感受而去做,現在看清了,卻已和他在一起這麼久了!
因為失婚過一次,所以覺得他會接受我的過去是很不簡單,加上自己不想每談一次戀情就要再說一次自己的過去,所以這段感情才會維持至今,如今我已不想再過這種沒尊嚴的生活了,可卻無法放,請各位給我建言,這段感情該不該放手,是要如何放!