В отношениях с мужем нужно исходить их того, что человека переделать нельзя. Либо Вы его принимаете таким, каков он есть, либо нет.
Если в его отношениях с людьми много негатива, то для Вас это повод задуматься. Ведь этот негатив в конце-концов скажется и в Ваших отношениях тоже.
Сколько лет Вашему сыну? Почему муж не хочет, чтобы вы жили втроем?
Где отец ребенка? Мог бы сын жить с родным отцом?
Либо Вы, либо родной отец ребенка должны взять на себя ответственность за заботу и защиту интересов сына.
Вы можете также попытаться предложить мужу обратиться к семейному психологу вместе, чтобы решить спорные моменты.