巾山位于古城区东南隅，高近百米，三面临街，南濒灵江。山顶有双峰，分东、西峰，西峰为巾山的最高点，也是临海的标志。双峰于唐代始建双塔，称“文峰塔”。塔下西侧有个华胥洞，相传为华胥子所居。华胥子即皇华真人，曾在山上炼丹修道，历经磨炼，终于得道升天，成为仙人驾鹤西去时，微风将他的头巾吹落，飘然而下，变成了巾山两峰。从此被称之为“巾子山”。巾山西麓又有两塔，即南山殿塔和千佛塔。南山殿塔、千佛塔和巾峰东、西两塔合称“巾山群塔”。一山四塔，为国内外罕见。