Мне кажется, он Вас стесняется, потому что у него другой темперамент и проявления Вашего ему кажутся чрезмерными, непривычными. И плюс, Вы не вполне соответствуете некоему "идеалу женщины" в его голове, может быть, у Вас какой-то специфический акцент, "говор"?