Если речь заходит уже о физическом воздействии, то лучше разъезжаться. А то так и до греха не далеко. Но если речь идет только о ваших страхах, сопротивлении и нарушении ваших границ, то учитесь защищаться не так как это делают маленькие дети, впадая в истерику, тихо злясь, мечтая отомстить при случае, а действуя в режиме реального времени. Не хотите, чтобы в вашей комнате без вашего ведома находились другие люди - врежьте замок и запирайте дверь на ключь. Вы не согласны с замечанием, так и скажите: "Я так не думаю, у меня по этому поводу другое мнение, у меня другие привычки, в которых я ничего плохого не вижу, и меня они устраивают". Ваша убежденность в вашей правоте и будет вам поддержкой в отвоевывании ваших границ. При попытке загнать вас в угол неприменно напоминайте о том, что вам тоже не все нравится в их поведении, и вы готовы идти на компромисс, если они тоже пойдут вам на уступки.
В борьбе с вашими страхами начните с того, что эти люди не обладают никакими очевидными или принципиальными преимуществами перед вами. Между вами нет и не может быть такой разницы как у антилопы с тигром. Вот и пробуйте разговаривать с ними как с равными, отвечайте и делайте замечания как равным.