Вам нужно разделить те вещи, на которые Вы можете влиять - Ваши отношения с мужем, детьми, и те на которые Вы влиять не можете - его отношения с любовницей. Эту проблему должен решать он сам. Если ему тяжело, то он может обратиться к психологу.
Рано или поздно ему все равно придется сделать выбор, но такая ситуация может тянуться еще долго. Если Вы наберетесь терпения и не будете делать решительных шагов, ставя мужа перед выбором, то, возможно, другие отношения сами со временем разрушаться.