Здравствуйте, Дарья!
Видеть любимого человека 1-2 раза в неделю, с учетом того, что он женат - это большое счастье. Такая двойная жизнь для него - большая нагрузка и понятно, что ему нужно еще какое-то время, чтобы отдохнуть от общения, от женщин.
То, что Вам не хватает внимания и заботы - это тоже вполне естественно, но на большее вряд ли он способен. Поэтому придется принимать все в таком виде или искать себе другие варианты.