То, что вызывает у Вас раздражение или сопротивление - над этим и нужно работать (самостоятельно или с психологом - это как Вам нравится). Читайте статью по семейной терапии по Боуэну на тему построения границ в общении с людьми.