传说吴三桂败退时，将一十八抬金银丢入犀牛潭中，从此，人们都想获得这些宝物。
过了若干年，这里首先搬来了一户人家，只是老两口。有一天，一个洋人来到犀牛潭边，用他的魔法看到了潭中的财富，在而不知如何避开潭水捞取，因此在潭边徘徊了三天。一天，他突然发现瀑布上方侧面的悬崖上长的一棵黄树上结了一个仙果，此果是吸干潭水的神物，但时日不到神功尚差，必须养足百天才行。于是，出钱请二老看守仙果，便回去准备取宝的工具。
三个月过去了，仙果越长越大，形如升斗。然而未见洋人回来。到了九十九天仍不见洋人回来，二老摘下仙果，抛入潭中试探。仙果入潭，只见光华四射，吸水有声，瀑水停落，潭水下跌。不到一个时晨，潭水全无，果见潭底金银财宝。正当他们惊喜无计之时，突然潭中响起天崩地裂似的巨声，吓得二老魂飞魄散。立刻瀑水下落，潭水涨满。一切恢复了原样。
第二天，洋人到此，不见树上仙果，追问原因，才知情由。追悔吧道：“仙果尚欠一日之功，可惜！可惜！”
后来这个地方的人多了，为了纪念这棵古老的黄教仙树，便把这个地方取名“黄果树”。