На Вашем месте я бы попробовал снять квартиру в аренду и настоять, чтобы вы вместе начали жить со своим мужем - найти для этого любые предлоги. А с любовницей, наверное, есть смысл встретиться и объяснить ей, кто есть кто.
И подумайте над тем - нужно ли избавляться от "зависимости" от мужа? - может быть это и не зависимость, а настоящие глубокие чувства, любовь!? Если это любовь, то есть смысл защищать свою любовь и делать всё возможное, чтобы чувства и ваша семья сохранились! Может быть нужно ещё поговорить с его братом или даже с его родителями?!