Наиболее вероятной причиной Вашего раздражения, на мой взгляд, является эмоциональная незавершенность отношений. Так бывает - брак завершился, а эмоции остались. Здесь может быть и обида, и любовь, и ревность, и привязанность, а поскольку реализовать эти чувства уже не представляется возможным, их энергия выливается в агрессию и раздражение.
Можно посоветовать вам встретиться (без ребёнка) и попытаться проанализировать настоящее состояние отношений, высказать взаимные претензии и попытаться их урегулировать. Если же это не удаётся - найдите психолога, который поможет комфортно завершить отношения, если, конечно Вы уверены в необходимости их завершения.