履约保证金是指在签订合约的过程中，一方作为履行合约的保证，按合约约定提供给对方的一定金额的财务担保。履约保证金主要用于保证合约双方按照约定条件履行合约的责任，保证合约的有效性和稳定性。

那么问题来了，履约保证金什么时候退回去呢？一般来说，履约保证金的退还是按照合约约定来进行的。

首先，如果合约的目的已经实现或者合约期满，双方都履行了自己的责任，那么履约保证金应当在合约期满后的一定时间内退还给提供保证金的一方。

但是，在合约期满前，如果出现一方违约的情况，那么根据合约条款，对方有权扣除违约方应当支付的金额，剩余的部分将退还给提供保证金的一方。

另外，如果在履行合约的过程中，提供保证金的一方提出解约，并且对方同意解约，那么履约保证金也应当在解约后的一定时间内退还给提供保证金的一方。

也有一些特殊情况，比如双方就退还履约保证金的方式和时间没有约定的，或者合约约定的退还时间已经过去但保证金没有退还等情况，那么可以通过协商解决，或者按照相关法律法规的规定来处理。

总之，履约保证金的退还时间主要取决于合约约定，双方应当在签订合约时明确写入相关条款。同时，退还履约保证金需要符合法律法规的规定，遵循诚信原则，以确保合约的正当有效。