網拍糾紛~請教我!

過年期間在xx拍賣上買了一件1580的褲子，
圖片很美顏色和版型都是我喜歡的，但因為是日本進口的褲子，所以我看不懂尺寸，便請教賣家，於是給了他我的腰圍臀圍尺寸，於是賣家建議我尺寸後，我就下標了。
褲子分成兩種顏色  A款和B款，A款顏色較深(是我要的)B款較淺。
賣家回覆的速度很慢，寄了兩三封信大概只會回一封，留言也是要等上兩三天才會回，
終於我的褲子寄來了，寄來時很傻眼，我看的出來這是畫面上的褲子，但是是很勉強的比較下，顏色也是很勉強的比較出來他是A款的，版型也都不一樣，我便馬上跟賣家提出要求換貨，我的語氣很好也很客氣，賣家也很熱心幫我解決問題，但是都是久久回覆一次問題，所以等到我真正要寄給他時，約隔了兩個禮拜左右，寄給他之後，賣家更是不回復我，即使我一直留言他都不回我，可是他卻會回給以匯款並成交的客人留言，今天我打給他，他說他沒收到包裹，更說他沒空一個一個回留言，可是他卻把我的流言删光，然後說賺我一百多快，沒時間用手機跟我說這麼多，之後電話就打不通，一直轉到語音信箱，隔一振子打，又響了卻沒人接，回家上限，他說他的手機被我打到沒電，可是後來都有響沒人接阿，況且他都有空可以把留言山掉，未什麼不回復我呢?
現在賣家說延誤了寄回日本的時間，他不幫我換貨了~~
我該怎麼做才能退錢!保障我的權益~~~