Давайте определимся с Вашей главной проблемой. В том ли проблема, что "… с каждым днем привязываюсь к нему все больше, и мне очень страшно… "? Страшно что? То, что он может Вас бросить или то, что Вы так же трудно как и в первый раз будете переживать расставание?
При любом ответе на вопросы Вы останетесь в проигрыше, потому что изначально программируете себя на зависимость. В этом варианте Вы несвободны, все определяет случай или каприз вашего друга. Похоже Ваш друг ориентирован в отношениях с Вами на уровень дружбы, на уровень приятного времяпровождения. А Вы на что ориентируетесь (имею ввиду будущие результаты ваших отношений)? Сравните ожидаемые Вами результаты отношений с другом и те, на которые ориентирован он. Они не совпадут. В этом основание для беспокойства!
Здесь важен ответ на вопрос: "Как далеко видит перспективу отношений с Вами Ваш друг и главное - в каких ролях". Отношения дружбы (настрой на времяпровождение) могут продолжаться долго и вполне устраивать друга. Вас же это уже сейчас не устраивает ("… точно знаю, что хочу его видеть рядом, и не только как друга"), а друга-вполне! Обратите внимание, как только Вы сделали попытку выставить новые цели "он сказал, что нам не надо встречаться… ". Его вполне устраивает статус-кво.
Решением может стать, во-первых, Ваше терпение в расчете на то, что друг наконец-то "созреет" для принятия на себя других, ожидаемых Вами, ролей. Положительный результат здесь никто не может гарантировать. Во-вторых, согласиться или не согласиться с теперешней ролью подруги для приятного времяпровождения. В-третьих, провести разговор с другом на предмет Ваших ожиданий. После чего принять решение в пользу себя.
С наилучшими пожеланиями.