Вероятно, муж еще не справился со своими переживаниями в связи с разводом. Чувства обиды и агрессии вполне характерны для переживания развода, утраты. Обычно на то, чтобы примириться со случившимся, уходит примерно два года. Поэтому Вам нужно еще немного потерпеть, пока он успокоится. Вы можете сказать ему о том, что дочь не виновата в ошибках родителей и не должна страдать в этой ситуации, поэтому у нее должно быть какое-нибудь стабильное время, когда она может с ним общаться. Кроме того, она должна знать, что независимо не от чего он ее любит и всегда будет о ней заботиться (также как и вы).
Вероятно, мужу тяжело лишний раз с Вами общаться, даже подниматься на этаж, поэтому постарайтесь меньше с ним пересекаться и общаться пока только по поводу дочери. Со временем, у вас могут появиться даже дружеские отношения, но для этого нужно, чтобы все успокоились и устроили свою личную жизнь.