我是卖家，因不记得具体的平方数，房产证不在现场，中介和买方在看房当天晚上就要求签订了合同，并且要求加一条多退少补。在后来因平方数不符的和谈中，中介和买方要求在合同规定的时间内必须卖房给他，要不就全额退差的平方数折合的金额，否则就退违约金，不愿意接受我们退的部分金额，请问这是否能说明中介和买方有联合诈骗的行为。我要怎么办？