Не понятно, на чем основывались обвинения, возможно, муж очень ревнивый человек. При желании проблему ваших отношений можно было бы решать у семейного психолога. В любом случае, нужно, чтобы он остался хорошим отцом для ребенка, так как для ребенка это важно, поэтому нужно постараться сохранить хорошие дружеские отношения после развода (обычно это реально года через два после развода). Обычно дети очень страдают, если после развода родителей, не имеют возможности общаться с отцом, это сказывается и на их развитии тоже. Ребенок не виноват в вашем конфликте, нужно постараться не проецировать на него свои негативные отношения с мужем и хорошо бы эту идею до него тоже донести.
Возможно, основная причина, почему не сложились Ваши отношения, это тесная связь с родителями у Вас и у него. Чтобы построить семью, нужно сначала отделиться от родителей. А проблема с ревностью уже вторичная. Читайте статью по семейной терапии в концепции Боуэна и статью про ревность.