Уважаемая Елена! Физическое (сексуальное) влечение слабо поддается контролю разума в смысле формирования его направленности. Поэтому Вы вряд ли сможете понять в чем причина такого желания по отношению к конкретному мужчине. Очевидно, что на бессознательном уровне этот мужчина выступает как некое сосредоточение желательных качеств, как образ идеального партнера. Равно как Ваш избранник в физическом отношении не воспринимается таковым.
Вы попали в дилемму: важнее психологическая близость или физическая?… Но ответа никто не знает - Вам решать.