На мой взгляд, Ваше раздражение является вполне естественным и нанести большой вред отношениям (учитывая разумную позицию Вашего молодого человека, о которой Вы пишите) оно не может.
Это уже дело Вашего избранника, как строить своё общение так, чтобы не раздражать Вас (в том случае, если ему это интересно).
Если же Ваши переживания мешают лично Вам - Вам следует поработать с психологом очно. Уверен, всё решаемо.
