社会保险金应该从哪一年开始算

您好！我从1985年开始担任市区某大院的门卫工作的，至今已有25年。该大院内原来由市国资委下属的二轻、轻工、机械、化工、纺织五所公司组成，工资由五个单位共同支出，单位性质是机关。2003年体制改革后上级部门将这五个单位合并为一个单位，即市工业资产管理有限公司，单位性质为企业。在1985年至2003年期间，公司没有与我签订劳动合同，但公司在1996年4月1日，给我发了一个工作证，工作证的章是“二轻机化纺大院管理委员会。2004年5月公司与本人开始订立劳动合同。25年以来，公司没有为我缴纳养老、医疗等社会保险。过两年我就要满60周岁退休了。我向单位申请为我补办社会保险，单位的答复是从2003年开始算起，2003年以前的工龄不算。理由是2003年以前单位是由五个独立的单位组成，而且属于机关单位，没有临时工编制。请问：单位的这种说法合理吗？养老金、医疗保险金应该从哪一年开始算？