Только Вы сами можете решить, подходит Вам человек или нет. Можно также проанализировать ситуацию, работая с психологом индивидуально.
Его злят не конкретные слова, а то, что он чувствует, что Вы дистанцируетесь от него.