前男友的媽媽視我為女兒....對我有點造成困擾....(文長)

和前男友交往了快4年了，交往期間也常會住在他家，他媽媽可能因為沒有女兒所以對我很好~也當我是她未來的媳婦，但是後來還是和他分手了(劈腿又愛搞曖昧的魔羯男...)分手之後他媽媽還是常常打電話給我(一個禮拜至少一通)也會要我去她家陪陪她，那時候覺得他媽媽很可憐(因為他兒子不久之後就交到女朋友~不是常常在家~就算在家也都和女友關在房間裡)畢竟我跟他媽媽也有一定的感情了，但是我現在也有交往一位感情要好的男友，他媽媽也對我非常好，男友也知道前男友媽媽的事，雖然他沒有說過反感的話，但是我自己會覺得對不起她，我姐姐也叫我不要再這樣~因為前男友在交往期間對我又不好還劈腿~現在何必幫他去陪他媽媽~我自己也感覺他媽媽太依賴我了，甚至有時後久了沒去他家~前男友還會打來問~可能是我自己當初沒有果斷造成現在的後果，但是我有點不想再跟他們保持這樣的關係~我該如何表明我的立場呢???