Вам обоим нужно создать такие правила в общении, чтобы каждый из Вас имел свободу реализовать себя, свои интересы, не мешая при этом друг другу и в то же время, создать общее пространство, в котором можно общаться про совместные интересы, увлечения, про быт, про детей. Читайте об этом статью по семейной терапии в концепции Боуэна. Давая друг другу эту свободу, Вы перестаете друг друга во всем контролировать и ревновать, перестаете расспрашивать кто, когда и с кем был.
Возможно, что он не бросает Вас одну, а просто в эти моменты, ему хочется пообщаться с друзьями. А пока он общается со своими друзьями, Вы общайтесь со своими, а потом вместе общайтесь с общими друзьями. Это можно как-то чередовать.