Здравствуйте, Александра!
Лучше всего обсудить с ним, что происходит. Нужно отделить физические проблемы от психологических. Мужчина может избегать секса, боясь потерпеть очередную неудачу, либо он избегает секса, так как что-то в отношениях его не устраивает. Возможно и то и другое.
Вы правы - проблему нужно решать или расставаться. В зависимости от типа проблемы нужна консультация либо сексолога, либо психолога.