Он отец и имеет такое же право на детей как и Вы, пока суд не решит иначе. Разумеется, что он будет бороться за своих детей. Важно, чтобы эта борьба не стала борьбой друг против друга, в которой страдают дети. Вы, как взрослые, можете решить, что ваши пути разошлись, и лучше вам жить врозь, но дети имеют право на обоих родителей, если, конечно, взрослые не приносят вред детям, в этом случае суд может принять решение о лишении родительских прав, и это решение будет защищать представителя интересов детей от посягательств лишенного родительских прав.
Послушание - не лучшая стратегия защиты себя и детей. По всему видно, что Вы до сих пор искали решения в одиночку, дайте себе время теперь, когда Вы обратились к другим, возможно, Вы и прийдете к тому же решению, но оно будет уже более взвешенное.