Конечно, он на ваше чувство вины и рассчитывает. Он откровенно манипулирует вами, совершает нехорошие поступки, а ответственность и вину за них сваливает на вас. Любая в вашей ситуации не сдержалась бы и эмоционально отреагировала. У вас ведь накипело. Ваши реакции естественны.
Как вы ему верите? Верите тому, что он говорит о вас? Разве это правда о вас?