Он всегда в центре внимания компании, да? А когда вы вдвоем, автоматически он как бы переключает Ваше внимание на себя? И это Вас напрягает, потому что Вы тоже привыкли, как Вы пишете быть "душой компании"? Потому что есть ведь люди, для которых вполне естественно время от времени быть в тени, хранить молчание… но Вы не из их числа, да?
Кстати, Вы упоминаете ваши совместные увлечения, хобби… какие именно?