請教一個搭配上的問題

請問以休閒褲裝而言, 襪子的顏色是要以褲子的色系為主, 還是鞋子的色系為主?因為我有一雙亮咖啡色的休閒鞋, 當我著深色褲子時, 我應該著米色的襪子嗎
上回著深灰色的, 被小小的嘲笑一下, 可是我覺得和褲子配得蠻好的, 不會突兀啊?????到底應該怎樣呢??