需按照法律规定进行处理。

因为夫妻双方借出去的钱属于共同债务，如果其中一方死亡，负担债务的责任将由其遗产继承者承担。

具体情况需要根据不同国家、地区的相关法律进行处理，建议寻求专业人士的帮助来解决此事。