То, что нам пытаются навязать со стороны, а мы не принимаем, только усиливает наше сопротивление. Поэтому решение продолжать эти отношения, или их прекратить должно быть принято Вами самостоятельно, в результате Ваших размышлений и ощущений.
Попробуйте посмотреть на эти встречи с другой стороны. Что плохого в том, что двум людям интересно беседовать и проводить время вместе? Попытайтесь удержаться и не переходить за грань дозволенного (с Вашей точки зрения). Тогда Вам нечего будет бояться.