《红楼梦》中贾府的败落是一个逐渐累积的过程，但如果要挑选一个明确的回目作为贾府开始败落的标志，那么可以认为是从第六回开始。

在这一回中，贾府遭遇盗贼入室盗窃，许多贵重物品被偷走，这引发了贾府内乱和家族财产的大争议。这一事件不仅让贾府的财产安全受到威胁，更暴露了家族内部管理和团结的问题。随后，贾府在第七回中建设宁府，耗费巨额财力和人力，导致贾府资金紧张，家族的势力开始衰落。到了第八回，贾府居住的园林荣府被卖给了王熙凤，贾府失去了重要的产业和资源，进一步削弱了家族的实力。而第九回中，王熙凤与关金荣的勾结更是让贾府的财政状况雪上加霜。

这一系列事件逐渐累积，最终导致了贾府的衰败。因此，可以说从第六回开始，贾府就已经踏上了衰败之路。