男友還讓前女友握有她家鑰匙,是怎樣?

天秤座男友,交往快1年,過年時才發現他前女友經過他同意到他家住幾天,雖人2人沒碰到面.男友這樣說,半信半疑.
被我發現後,表示要盡快要回鑰匙或換鎖.又解釋在我門交往前就已和這位前女友談分手,但這位前女友不同意,所以拖延到現在.因為不想太傷害她,才需要將分手時間延長.
因我和男友都是長期不在台灣各自出差,約1個月小聚一次.這次事件讓我考慮男友到底在想什麼?幾天前他才不辭辛苦南北奔波的到我家見我家人,怎麼有搞出這事ㄋ
各位美眉,你們會怎麼作?