出国劳务与中介公司纠纷

我们三年正常回国了，但是中介公司告我们违约，要求我们的担保人赔偿违约金十五万元，他们的理由是说我们在日本攀比工资，其间我们是向日方提出过要求加工资。但是，我们要求的是与日本外来务工人员最低标准之间的差额何来的攀比工资，那是我们用辛勤劳动挣来的，可中介公司要求我们把补来的钱给他们，我们不给，他们就告我们违约。我们当时签的协议书是格式合同，而且，也是无奈的，出国前两天签的，如果不签交的中介费就泡汤了，能不签吗？