离婚后因特殊想让让其父母搬出住

我和丈夫在2006年协议离婚的，经济上是各管各的，我带了女儿房子归我，他带了他前妻生的儿子（已工作），他对女儿无经济补贴，协议书上我同意他父母仍居住在属于我的房子里。为了离开伤心地，不影响女儿学习（女儿当时上高中二年级）2007年1月我另外买房住了。现因为我要负担女儿上大学（大一），还要还债（买房借的钱）。生活非常困难，于是想让他父母住他们自己的房，我的房子想卖掉，来还债、负担女儿学费。我想跟他协商解决他不会同意的，所以我想用法律武器。请问我这想法是否对？法律是否支持我的想法？