Может быть, Вас самой стоит проявлять к нему нежность и внимание, и постепенно он тоже научиться это делать? У Вас у обоих непростая судьба, у него много трудностей, моральных и материальных, поэтому нужно попытаться задать правильный тон общения, найти то общее, что будет Вас объединять: общие интересы, увлечения.