面試當天答應去上班但事後反悔該怎麼跟公司說？

前天面試一個標案企劃的工作，當時只是抱著一個去了解的心態，但在面談完和測驗完後，老闆極力的說服我去工作，一直誇獎我，也說會做這個以後發展性很好，這我充滿疑問，很多工作都需要這個能力，並說當天決定。當下的我說要考慮，他一直不斷的說要考慮什麼，繼續找各種人說服我。 後來我因為趕時間離開就答應了。事後回想其實自己對工作的內容並非很有興趣，且老闆直說常常加班，有可能凌晨且一日出差，之前有同事就是因為工時關係離職率，那裏的職員有問吃不吃得了苦，家裡能接受嗎？等等問題。回頭想我其實不太喜歡那種著墨文字政府案件的工作加上待遇和公司那安靜氣氛，我該怎麼拒絕到職？