豸山寺建于豸山的岩隙中。因山形似上古神兽獬豸（xiè zhì）而得名豸山。豸山寺建于明朝万历四年(1576)，古代这一片建筑依次是佛教的豸山寺观音阁、道教的吕祖阁、儒教的文昌阁，一字排开，连为一体。后因历代兵火吕祖阁与文昌阁尽毁，1984年重建为当前格局。豸山寺有两个独特的地方，此为其一：“山中有佛，佛在心中”。二就是儒释道三教合一的建筑格局。
背山面江，静看沱江黎水
豸山古寺，古朴端装
儒教文昌阁
释教观音阁
道教吕祖阁
豸山顶上始建于同治八年(1869年)的凌云塔，为了镇住一方文运不随江水流去，又称“文塔”。凌云塔为砖石结构阁式建筑，塔身7层，高21米，八方四门，俊俏挺秀，集佛教、伊斯兰教之建筑风格于一体；塔的外形为中国传统建筑形式，斗拱、出檐、起翘为中国建筑特点；塔内部为中空穹窿顶曲线流畅，属西方建筑手法、伊斯兰建筑风格。