安乐胶寺有门楼和四个大殿，两边有房屋相连。不仅建筑宏伟，而且东西回廊、前后室、南北室布局对称，殿宇飞檐，屋顶兽头、吻雕精美；寺内红柱红梁，气象雄伟，道路沉重，回廊蜿蜒，令人神往。从大门到后殿的万佛楼，一堂比一堂高。乍一看，宁静而深邃。寺庙大门的两边有高大的八字墙。巍峨的门楼之上，有一座汉白玉石雕，蓝底嵌着“安乐胶寺”四个大字。笔法苍劲有力，潇洒自如。万佛楼供奉的是藏王菩萨和千手观音，还有很多大大小小的佛像。楼顶有一个大陶瓷瓶，高2米，形似葫芦，周长七尺。瓶身肚子里藏着很多佛经。由于地势较高，加上黄釉酱，在阳光普照的时候，这种葫芦在镇顶几英里外都能看到。