Здравствуйте, Ксения!
Отношения с Е. - это уже история из прошлого. Сейчас у Вас новая жизнь. Над отношениями в семье постоянно нужно работать. Семья обычно переживает кризис после рождения детей, тем более, что у Вас они погодки.
Попробуйте пока отодвинуть образ Е. и заняться восстановлением супружеских отношений. Когда Вы думаете о другом человеке, не можете его забыть, то эмоционально дистанцируетесь от мужа.
Вместе с мужем Вы могли бы обратиться к семейному психологу. Читайте также вместе с мужем статью в Интернете: Д.С. Валлерстайн "Психологические задачи брака".