我是否未尽到抚养义务

因性格不合，和前妻协议离婚。我净身出户，财产和房子全给了她，小孩由我抚养。至今二年，前妻未付过一分钱抚养费。因诸多原因，我在外工作，小孩没带在身边。小孩一直由我父母照顾和读书。现今，我重组家庭。考虑到经济和工作尚不稳定，没把小孩接出来和我们一起生活。但前妻打电话威胁我：如果不把小孩带在身边读书，就去妇联告我，说我没尽到义务和责任。就到我爱人单位闹。就到法院告我，改判孩子的抚养权。请问各位律师，像这种情况下我应该怎么办？一定要带小孩在身边才算尽到义务吗？