Вы послушайте свое сердце. У меня был случай в практике очень похожий на Ваш, поэтому я поддержала Ольгу Анатольевну.
Единственное о чем хочу попросить, это то, что сделать героический поступок намного проще, чем нести его последствия.
Поэтому, если Вы примите решение об уходе, продумайте последствия, не бойтесь их, и подготовьтесь. Самое главное, это уверенность Ваша внутри себя в правильности принятого решения, и запрет на манипулирование ребенком. Необходимо сразу установить четкие правила. Одно из которых хочу Вам предложить:
Вы с мужем - это мужчина и женщина, а так же мать и отец, и что бы не происходило между Вами как мужчиной и женщиной, ребенок воспринимает Вас как маму и папу, поэтому все Ваши разборки оставьте вне зоны видимости и слышимости ребенка ну и т.д.