工作 / 該怎麼回答呢 請教我

我們老闆問我下班要不要去他家陪他兩個女兒寫功課 
我原本是想說可以
因為也可以賺一點點錢
後來因為我朋友的朋友有一些和我們老闆很熟
所以我大概知道我們老闆的風評不是很好
他已經離婚現在又把他的女朋友弄進公司工作
在外面又有好幾個女生
但是這些都與我無關
因為我很喜歡我現在的工作性質
所以我只想好好的待在公司裡工作
我朋友他<男生>告訴我說
我們老闆曾經在外面跟他的朋友說我很容易上手...
所以他昨天向我提出要到他家陪他女兒寫功課
我沒想很多就直接回答他說好
因為我現在為了避免一些不必要的事情發生所以想拒絕他
但是我不知道該用什麼理由來委婉的拒絕他..
請大家提供我一些辦法好嗎
因為我不想為了這個原因就和老闆處的不好
所以請大家幫我想想辦法....>_<"