По огите

Вы же живете сами со своими детьми, т. е. больше проводите с ними времени, чем с ними видится брат мужа. Поэтому, если нет предпосылок, настроить против вас ни детей, ни мужа он просто не сможет. Да и заем ему это? Если он вас недолюбливает, есть смысл напрямую поговорить с братом мужа (может, Вы преувеличиваете ситуацию)? Нужно выяснить, почему он так себя ведет и дать понять, что если будет влазить в вашу семейную жизнь, может перестать быть гостем в вашем доме.