购土地款定金纠纷

我收了买主贰万元购土地款定金，收条写在双方没有签名的合同反面：″收到XX购土地款定金贰万元。09年3月25日″。收条没有写明签订合同的具体日期。吗双方在协商过程中因″按城建规划建设″产生分岐。买主认定我的收条写在反面是默认他的反规划条件。可是当时没有第三者我也没有收条的副件。我要终止买卖，返回定金，可是买主拒收。买主还直言我的土地不可交易还讲我违约要我付违约金八十万元。买主无理纠缠，我主动起诉买主终止买卖可以吗？我有什么地方让买主做借口对我不利．我如何做才能不吃亏？