被公司流言影響 好煩喔..要沒有人教我怎麼辦

最近工作  每到下班時間快到的時候  就覺得有點不太開心
 
我們公司的員公都很奇怪  下班了都喜歡逗留在公司
因為他們下班了  都沒有活動  沒事幹  所以喜歡留在公司 
但是我不是那一種人阿 
我下班了  是很忙的耶  英文課  游泳  有時候也喜歡一個人去看電影
公司並不是很忙碌  所以說實在的  準時下班一點也不為過
我們的下班時間  是17:30 
有的同事  16:50  就去休息室睡覺  18:00起床  然後吃飯   
19:00開始上網亂逛(有時候持續白天沒做完的工作)
聽說都是到20:30  才回家
或是白天的時候都在聊天  到17:30要回家的時候  才開始工作

所以未免不好意思  我都拖到18:00才回家
可是我們的主管還是很不能諒解  為什麼每次都是我最早走
但時候真的很忙的時候  我都犧牲我中午的休息時間在忙  也曾經晚上11:00才離開公司阿
所以我並非不喜歡加班　只是　沒事留在那裡幹麻呢??

公司８個員工　真的只有我是準時離開的
有時候我真的忙的時候　18:00過後　如果看到我還在公司　
就會說你今天是怎麼啦　真希奇
現在更誇張　主管私底下甚至說　現在只要看到17:30  就會想到XX　要下班啦!!
可能是我很容易受影響吧,　可是我覺得好生氣喔!! 

另外公司的晚餐　是只要你晚上加班　就可以免費享用的
(包括你下班　只是在公司聊天　上網　晃來晃去　都可以算是加班)

最近主管說　可能想要裁員　．．
我覺得我的工作效率很高　會的東西也比其他的同事多
但是就是　準時離開公司這一點　讓我有點擔心　會不會因為這樣而被開除
請問各位,能不能告訴我　該怎麼半阿．．