該離婚嗎？

我先生外遇…
他跟一個小他近24歲的人在一起
我是在去年的時候發現的
我跟他提出離婚 但是我先生不肯
他求我再給他一次機會
我該再給他一次機會嗎
我很想離開他 但是想到2個小孩 我就覺得好無奈
之前交往時  他就跟我的好朋友搞在一起
我選擇原諒他 後來也嫁給他 
他也答應我 不會再傷害我
可是沒想到 我們才結婚未滿一年
他就跟他的學生在一起 我也一直把那女生當成學妹在照顧
只是當時我沒發現他們的事
就這樣 那個女生大學畢業後 到日本讀書
我先生去日本找過她一次 並在回國後二個月 又要再去日本
我懷疑他 並跟他說 如果真的想去 我不會阻止你
但請你想清楚 這是你兒子的第一個元旦
我先生選擇留下 沒去日本
就這樣 過了兩年 我懷了第二個小孩
兩年期間 那女的每半年就回來台灣找我先生
一直到我懷了老二 在五個多月時
失足從樓梯跌下 我打電給先生求救
沒想到 他們兩人正在吃中飯
在送醫的過程中 我哭著跟他說
「我很討厭你跟呂小姐吃飯，如果你真的要繼續跟她保持關係，我也沒辦法！」
當時…我仍不確定他們是不是有在一起…
後來 小孩在去年這個時候生了 坐完月子後 回家做滿月健檢時
發現 先生的身上有草莓
我…大哭 當下才知我是個笨蛋…
他的婚外情已近四年 我一直都像個傻瓜一樣
我真的是好笨~~~

事發到現在一年多
我先生對我很好
我也知道 發生這樣的事情 原來他比我更難過
只是我對他的情感已不像從前
他一直在修復我們的關係
家庭責任也變的更有心
但是…我想離開的心一直沒有變過
只是心繫著兩個小孩
我倒底該怎麼辦？
應該離婚嗎？？？