伝承によれば、金山城主森長可は権現山城に大軍をもってたびたび攻め込みましたが、権現様のお使いの白い大蛇が霧を出して阻み、攻略できなかったことから、「不落の霧隠城」と呼ばれていました。ところが、小栗信濃守は城の守りを強固にするため、権現山より見晴らしがよく、防御に有利な西方の本陣山に城を新しく築き移動しました。すると、これまで得られた権現山の大蛇の加護がなくなり、敵に攻められてあえなく落城したと伝えられています。