Конечно, было бы проще и правильнее пытаться наладить отношения в семье. Если трудно самим, то для этого есть семейные психологи.
Мстить мужу за измену, тоже ему изменяя, смысла нет. Вы можете вернуть его уважение тем, что будете не зависимы от него, в частности, Вы можете рассказывать ему про Сергея, как пример того, что мужчины оказывают Вам внимание, все это вместе будет поднимать Ваш авторитет в глазах мужа.
Сергей - не уверенный в себе человек, иначе он давно бы подошел к Вам с какими-то конкретными предложениями, а не смотрел издалека. Вы можете попасть в его ловушку и сами проявить инициативу. Платой за это будет то, что и в дальнейшем отношения будут держаться на Вашей инициативе, а он будет думать годами - разводиться ему или нет, будет ждать пока дети вырастут, как это обычно бывает.
Если Вы все же решите сменить мужа, то выбирайте неженатого, доброго и без вредных привычек.