Такую проблему лучше решать в процессе индивидуальной работы у психолога. Если Вы считаете, что Ваш брак уже мертв, что Вы не хотите тратить свои силы на то, что бы поправить ситуацию, тогда можно думать о разводе, о том, как Вы в дальнейшем будете общаться с дочерью. Ребенок в таком случае оказывается уже перед свершившимся фактом, родители сами решают, как им лучше. Читайте также Видра "Помощь разведенным родителям и их детям", Вебер "Кризисы любви". Другой вариант: вы принимаете предложение любовницы и расстаетесь с ней, при этом все силы Вы тратите на восстановление семьи, решение тех проблем, которые привели семью в такое состояние.
Решение в любом случае зависит только от Вас.