Ситуацию с разводом пусть лучше переживает он, это его дело, Вас это не касается. Вас касаются ваши отношения, которые меж тем протекают в свете его прежних отношений, в которых рождена дочь. Он ведь ушел не к Вам, а из семьи, и лишь впоследствии встретил Вас, так что вины на Вас нет. Но как бы там ни было, вы своими отношениями обязаны прежней семье этого мужчины, ведь, если бы они не расстались, вы бы не были вместе теперь.
Вам нужно с уважением отнестись к его привязанности к своей прежней семье. Не следует соревноваться с его бывшей женой - кто для него лучшая жена. Просто наслаждайтесь своими отношениями теперь, пока вы вместе. Скажите себе, что когда-нибудь Вы его потеряете. И пусть эта мысль поможет Вам ценить время пока вы вместе.