這樣的男人算自私嗎?

今天跟男友的妹妹聊天,聊到我跟男友出遊
他妹妹說以後交男朋友可以跟我們一起四人約會之類的
我跟我男友說到四人約會這件事
結果我男友突然很激動的說..."不要"!
我本來以為男友喜歡兩人世界...

結果我男人卻說...他不想跟他妹的男友ㄧ起出去
原因是...
他如果想到他對女朋友做的事情,那個男人也對他妹做
他會有點小吃醋...

我不知道是我想法奇怪還是怎樣...
我當下覺得...很不是滋味耶!
我也是人家的妹妹壓...我也有哥哥耶
難道我也要顧慮我哥的感覺不要跟他交往嗎?
他這樣會不會太自私啦....

還是我真的想太多?