如果施工单位雇用的渣土车在作业过程中导致人员伤亡，那么施工单位是有一定的责任的。具体责任大小需要根据事故的具体情况来定，比如是因为施工单位没有对车辆和司机进行有效管理和培训，还是因为工地上没有足够的安全措施和警告标示等。

一般来说，根据《中华人民共和国安全生产法》规定，雇主应当为从业人员提供安全生产条件，对从业人员进行必要的安全生产教育和培训，并对安全生产工作进行组织和领导。如果施工单位在这方面未尽到责任，则有责任承担相应的法律责任。