บนสำนักสงฆ์เขากุฏิ  ซึ่งอยู่บนยอดสูงสุดของเกาะยอ  ยังมีเจดีย์โบราณประดิษฐานอยู่  ซึ่งเป็นที่มาของชื่อที่ชาวบ้านเรียกขานกันว่า  " เขากุฏิ "   สำหรับเจดีย์บนเขากุฏิ  เป็นเจดีย์ทรงกลมหรือทรงระฆัง  ขนาดเส้นผ่านศูนย์กลาง  ๑๐  เมตร มีทางขึ้นสู่ลานประทักษิณ ๓  ด้าน  ยกเว้นทางทิศตะวันออกของเจดีย์  ทุก ๆ  ปีชาวเกาะยอจะจัดบุญประเพณีแห่ผ้าขึ้นเขากุฏิเพื่อห่มองค์พระเจดีย์และห่มพระพุทธรูปสมเด็จเจ้าเกาะยอบนยอดเขากุฏิ เป็นประเพณีที่ชาวเกาะยอได้ถือปฏิบัติมาเป็นเวลาช้านาน โดยมีองค์เจดีย์และสมเด็จเจ้าเกาะยอหรือสมเด็จเจ้าเขากุฏิเป็นศูนย์รวมจิตวิญญาณของชาวบ้านเกาะยอ มีการถือปฏิบัติติดต่อกัน  ๒  วัน  คือ วันขึ้น  ๑๔  ค่ำ  เดือน  ๖  ของทุกปี   เป็นวันห่มผ้าพระเจดีย์และสมเด็จเจ้าเกาะยอ  และวันขึ้น  ๑๕  ค่ำ  เดือน  ๖  อันเป็นวันวิสาขบูชา   องค์เจดีย์ประกอบด้วยส่วนฐานรองรับองค์ระฆัง  ๒  ชั้น  ส่วนฐาน  และชั้นมีซุ้มจรนำทั้ง  ๔  ทิศ  ประดิษฐานพระพุทธรูปทั้ง  ๔  ด้าน  พร้อมกับมีชื่อสลักติดอยู่บริเวณฐานของแต่ละองค์  ซึ่งหมายถึงสมเด็จทั้ง  ๔  องค์ที่ชาวเกาะยอเคารพศรัทธา ทั้งสมเด็จเจ้าเกาะยอ  สมเด็จเจ้าพะโคะ  สมเด็จเจ้าเกาะใหญ่  และสมเด็จเจ้าจอมทอง นอกจากนี้ที่สำนักสงฆ์เขากุฏิแห่งนี้ยังมี  " วิหารหลวงพ่อทวด "  และมีการอัญเชิญรูปหล่อหลวงพ่อทวดองค์ใหญ่มาประดิษฐานเพื่อให้ผู้ที่เคารพศรัทธาได้กราบนมัสการเพื่อความเป็นสิริมงคล เนื่องจากตามตำนานที่ชาวบ้านเกาะยอเล่าขาน  ระบุว่าหลวงพ่อทวด  ซึ่งเป็นสหมิกธรรมของสมเด็จเจ้าเกาะยอ  ได้เดินทางมาเยือน  ณ  สำนักสงฆ์เขากุฏิแห่งนี้ด้วย