Здравствуйте, Василий!
Итак, Вы хотите уйти от жены к другой женщине, но мешает чувство вины перед женой и привязанность к ней, если я правильно понимаю. А дети у Вас есть?
Вы можете сначала подумать о том, хотите ли Вы сделать что-то для изменения своих отношений с женой и сохранения брака. Тогда на время, Вам будет лучше отказаться от встреч с любовницей и пытаться решать накопившиеся проблемы с женой, которые и привели Вас к этому роману. Можно это также делать в процессе семейной терапии. Я занимаюсь такими проблемами. Но сначала Вам лучше пойти к психологу одному, чтобы определится в своей позиции.
Если же Вы примите решение, что не хотите что-то делать для сохранения своего брака, тогда можете разводиться.