Судя по всему, Ваш мужчина не отличается высокой сексуальной потребностью, интимная близость не стоит для него на первом месте, но это вовсе не означает какой-то неполноценности чувств или наличие проблем в сексуальности. Просто это его индивидуальные особенности! Кстати, различия в ваших темпераментах одна из основ различного отношения и к сексуальности.
Но отсутствие постоянного чувственного желания не может мешать ему переживать чувство ревности, страдать от мысли о Ваших контактах с другими… Он привязан к Вам и, возможно, не меньше чем Вы к нему, только проявляется у него это не так ярко и бурно. Но эмоциональные различия действительно могут серьезно мешать при каждодневном взаимодействии (например, при совместном проживании). В настоящее время (при встречах) он благотворно влияет на Вас тем, что стабилизирует и успокаивает…
Как дальше следует развивать отношения - решите сами.