Думаю, что Вы ушли от него первой, просто не заявляли об этом. Ему было обидно, что его нет рядом с Вами, зато теперь ему есть, чем похвастаться перед Вами. Если рассказы про подругу Вам неприятны, то не нужно их выслушивать.
Вероятно, остается еще что-то, чем вы оба дорожите в ваших отношениях, что-то, что вас связывает. Вы могли бы обсудить с ним это.