履约保证金是指在签订合同时，为确保一方能按照约定履行合同义务而支付给另一方的一定金额。保证金的缴纳对于确保交易的顺利进行具有重要作用，但也常常引发争议的是，什么时候可以退回履约保证金。

首先，需要明确的是，履约保证金的退还与合同的履行情况直接相关。一般来说，当合同期满并且各方都履行了自己的义务，保证金应该在合理时间内退还。比如，在租房合同中，如果租客按照约定支付了全部房租并且没有损坏房屋设施，那么房东应该将履约保证金退还给租客。

然而，实际情况往往并不如预期。有些情况下，合同可能会提前终止或者出现违约行为。根据合同的约定，当一方发生违约时，对方有权利扣除相应金额的履约保证金作为赔偿或补偿。这就意味着，违约方可能无法完全退回履约保证金。

除了合同约定外，还存在其他情况下的履约保证金退还。比如，在购房合同中，买方可能需要支付一定金额作为预售款或者首付款。如果购房合同最终无法履行，开发商应当将这部分款项退还给买方。

另外，有些行业也有相关规定来规范履约保证金的退还。比如，在建设工程领域，根据《建设工程履行保证金管理办法》，施工单位在中标后要缴纳一定比例的工程履约保证金。在工程竣工验收通过后，施工单位可以申请退回保证金。

尽管存在各种规定和约定，现实中仍然有一些问题需要引起关注。一方面，一些企业或个人可能故意拖延履约保证金的退还，给对方带来经济损失；另一方面，一些消费者可能因为不了解相关法律法规而无法及时维权。

为了避免争议和损失，当涉及到履约保证金时，作为一方，应当在签订合同时认真阅读相关条款并进行充分沟通。如果出现争议，可以寻求法律和专业人士的帮助。

总的来说，履约保证金的退还时间取决于合同约定和实际情况。需要注意的是，在保证金的退还过程中，应当合法、公正、及时地处理相关事宜，以确保各方权益得到保障。