田辺の街を見下ろせる高台にあり、海が見える墓地には南方熊楠や植芝盛平の墓があります。熊楠の菩提寺で生前には、植物採取の為よく訪れたそうです。

高山寺のシンボル的な存在の多宝塔は、真言宗寺でよく見られる建造物です。一般には大日如来をお祀りしていますが、上宮太子をお祀りしており、全国的にも珍しいことです。

境内には昭和13年（1938年）に「高山寺貝塚」が発見され、縄文時代の土器・貝殻・石斧などが出土し、昭和45年に国の史跡に指定されました。

春には桜の名所としてもおすすめで、4月20日・21日には「高山寺春の大祭」があり、宵宮の20日には境内に露店が立ち、多くの参拝客で賑わいます。