А в отношениях с этим мужчиной есть перспектива нормальных отношений, семьи, детей? Оцените трезво будущее этих отношений и если оно не очень Вас устраивает, то, наверное, имеет смысл их пересмотреть. Руководствуйтесь не интересами начальника (обидится он или не обидится), а в первую очередь своими собственными.