传说很久以前，那时兵荒马乱，民不聊生。一天晚上，在紫石山前拜寺庙里的老僧依稀听到有人在半空中说话：“此地不可久留”。

老和尚出庙观看，只见拜寺庙东西两侧各约50来步远的地方不知何处飞来了两座亭亭玉立的佛塔。

他心想，天长日久难耐孤寂，只有钟声为伴，若有这两座塔相陪那该多好！于是老和尚点着一把火烧伤了东边一塔，西边一塔也就留下来了。因而得名“飞来的”拜寺双塔。此后这里风调雨顺，五谷丰登，六畜兴旺。