Чтобы не было между супругами (даже бывшими) дети страдать не должны. Ваш бывший муж не прав. Но я согласен с теми кто считает необходимость поговорить с ним. Если вы полюбили и живете с другим, не стоит свое счастье разрушать. А бывший надеюсь со временем поймет, что любовь его детей к нему выше обиды на вас.