购房过程中的购房意向金问题

买房时一时疏忽和中介签订了购房意向金合同，交付了5000元给中介，让中介与业主去谈我们要求的价格，谈成就买，谈不成的话退还购房意向金，我们要求的是9000/m2，最终中介谈到的是9300/m2，故生意不成，回头去找中介要5000元意向金的时候遭到拒绝，说是9000元价格已经谈成，多出的300是作为一手契税也要我们买房承担，说是合同上写的是卖方实收价了我们就应当包含所有的附加费用。请好心的律师帮忙解答下，着急啊