房屋租赁事宜

我在9月初与当地老板签订合同，承租其建筑民房用于房屋租赁，为此附加条件：答应无息借给其4万元并同意其四年内偿还，有借条。因房屋还在建设中，故合同内未签署具体的起租日期及终止日期，待年底交付房屋时再行填写；至于合同内所涉及的二个月租压金还未付，换言之，还未正式承接租用其房屋。现在因市场不景气，原租金太高，与老板协商降低租金，但其不同意，故此我不想租了，也直接告诉老板，如不降低租金，我将不租其房屋。请问：1。我需承担违约责任吗？（合同内有订如遇不可抗力，可以终止合同）2。如果我不租了，我该如何做，才合法且损失最小？（协商结果，他不同意降低租金）3。如果不租其房屋，我的借款是否可以马上要还？还是按当初协议，四年内偿还？