Здравствуйте, Алиса!
Всегда найдутся люди, готовые подвинуть привычные рамки общения, и Вам придется для себя что-то решать и устанавливать границы в общении. Если Вы решили для себя, что общение с женатым человеком для Вас неперспективно, то отстаивайте свою позицию, общаясь с ним как с нейтральным или чужим человеком, либо прямо говорите "нет". Вы сами должны установить те рамки, которые Вас устраивают.
Если другому человеку это не понравиться, то это его проблемы.