Я думаю, что после Вашего отказа от поездки у Вашего мужа появились подозрения: всегда ездила с ним в Москву, а тут вдруг отказывается из-за каких-то предчувствий! (Мужчины обычно не склонны верить "шестому чувству", особенно когда их заставляют в него верить). Тут, как говорится, и до греха недалеко, поэтому он и грозится расстаться с Вами если Вы откажетесь поехать.
Вы уж либо придумайте повод посущественнее, либо проведите дни, в которые он будет в Москве, у его родителей (чтобы быть на виду), либо поезжайте с ним.