壬申の乱の際、このあたりを通りかかった大海人皇子が、折からの大水で宇陀川を渡れず困っていると、どこからともなく白鹿が現れ、皇子を乗せて川を渡ったという。皇子は乱ののち、勅使をもって白鹿を祀る神社を建てた。それが鹿高神社であり、鹿高の地名はこのことにちなむという。

かつて、黒田荘の時代にはこの付近で東大寺の用材が切り出され、筏に組まれて宇陀川から名張川を下り、木津川まで流されたという。