我該怎麼對他?

有一個同事要追我
因為我不想被別人說閒話
所以我跟他說
私底下我們可以出去
但是在公司
你盡量不要跟我講話
最好是都不要跟我講話
後來我想想我講話太傷人了
所以我傳簡訊跟他說
是不是傷到他了
開玩笑的說希望他度量不要那嚜小
後來他回傳
我不是度量小.我只是不想當一個惹人嫌的人
我收到這簡訊很難過
因為我真的沒有那個意思
後來我直接打電話給他
跟他聊聊
中間我有問他
這樣還會追我嗎
他說這個問題他跳過
不過講電話的過程滿愉快的
只是他有意無意都會講說要忘掉這傷痛需要時間
今天上班
我就跟他說心情還不好嗎
他就點頭
然後我就說不要心情不好了
然後他就說這太難了
其實因為這件事
他在公司變的很沉默
我覺得我講的話太毒了
傷到他的自尊心
但我跟他講電話
他又可以愉快的跟我講話
我想跟他恢復以前同事的快樂感覺
該怎麼做呢