วัดท้ายยอ  เป็นวัดที่ก่อสร้างด้วยสถาปัตยกรรมล้ำค่า  ควรค่าแก่การอนุรักษ์และหวงแหน  โดยเฉพาะอย่างยิ่ง " กุฏิแบบเรือนไทยปั้นหยา "  อายุกว่า ๒๐๐ ปี หลังคา ใช้กระเบื้องดินเผาเกาะยอและกระเบื้องลอนแบบเก่า  มีจุดเด่นที่เป็นเอกลักษณ์ คือ เสาเรือนกุฏิจะไม่ฝังลงในดินแต่จะตั้งอยู่บนตีนเสา ซึ่งเป็นที่รองรับเสาอันเป็นลักษณะเฉพาะของบ้านชาวไทยในภาคใต้เท่านั้น นอกจากนั้นวัดท้ายยอ ยังมีโบราณสถานและโบราณวัตถุควรค่าแก่การศึกษาและเรียนรู้ อาทิ บ่อน้ำโบราณ สระน้ำโบราณ โรงเรือพระ สถูป หอระฆังที่สวยงาม และมีร่องรอยของท่าเรือโบราณ ซึ่งเคยเป็น ศูนย์กลางการคมนาคม ของชาวเกาะยอ ด้านหลังของวัดท้ายยอเป็นที่ตั้งของ เขาเพหารหรือเขาวิหาร ซึ่งประดิษฐานเจดีย์ทรงลังกาที่งดงาม ควรค่า แก่การช่วยกันอนุรักษ์ไว้สืบไป  

        เป็นเรือนไทย  ปักษ์ใต้ที่ถึงพร้อม " มงคลสูตร " และ " มาตราสูตร " ด้านหน้าหันออกสู่ทะเลสาบสงขลา  มีลานกว้าง  ส่วนด้านหลังเป็นเขาเรียกว่า เขาเพหาร อันหมายถึง " วิหาร "  นั่นเอง ลักษณะเด่นของกุฏิเป็นเรือนหมู่ ๓ หลัง  เรียกตามลักษณะมงคลสูตรว่า " แบบพ่อแม่พาลูก "  หากเป็นแบบ ๒ หลัง  เรียกว่า ดาวเคียงเดือน ประวัติสร้างวัดไม่ปรากฏหลักฐานชัดเจน  สมาคมสถาปนิกสยามสันนิฐานว่า  น่าจะสร้างในช่วงรัชกาลที่ ๓ แห่งกรุงรัตนโกสินทร์  เนื่องจากการใช้วัสดุกระเบื้องเกาะยอเริ่มทำขึ้นโดยชาวจีนและนิยมแพร่หลายในสมัยนั้น  หรือจะสร้างในช่วงรัชกาลที่ ๔  ที่เปลี่ยนมาเป็นวัดธรรมยุตินิกาย ร่วมสมัยกับเจดีย์บนเขาพิหารเป็นเจดีย์ทรงลังกา ศิลปะร่วมสมัยรัชกาลที่ ๔         การสร้างกุฏิตามหลัก " เรือนสูตร " หรือ " สูตรเรือน "  ที่ถูกต้องตามหลักการ  มงคลสูตร  และ  มาตราสูตร  นิยมสร้างกันแบบเฉพาะอาคารบ้านเรือนหรือที่อยู่อาศัยของผู้มีฐานะ  มีอำนาจเช่น  กำนัน และกุฏิเจ้าอาวาส  เท่านั้น  แต่เดิมในชนบท  ผู้นำท้องถิ่นด้านการปกครองดูแลลูกบ้านที่สำคัญ  ด้านฆารวาสก็คือ  กำนัน ส่วนด้านบรรพชิตก็คือเจ้าอาวาสในละแวกนั้น  การสร้างกุฏิจึงสร้างให้เฉพาะคนกลุ่มนี้คนธรรมดาสามัญไม่นิยมสร้างบ้านแบบนี้          คำว่า " เรือนสูตร " หรือ " สูตรเรือน "  และ " มงคลสูตร "  ผู้รู้ได้อธิบายไว้ว่าคนโบราณเชื่อว่าในการสร้างอาคารบ้านเรือน  มี  ๒ สาย  คือ สายสัมมาทิฐิ เช่น การสร้างบ้านที่อยู่อาศัย  สร้างศาลา  สร้างกุฏิ  เป็นต้น  จะออกจั่วก่อน  หมายถึงจะเริ่มด้วยการสร้างจั่วก่อน  ส่วนอื่น จึงน่าจะสอดรับกับภาษิตที่ว่า " รักดีแบบจั่ว "  สายมิจฉาทิฐิ  เช่น  การสร้างโรงเรือน  เตาเผาสุรา  โรงบ่อนการพนัน  จะออกเสาก่อน  คือ  การเริ่มต้นด้วยการขุดหลุมลงเสาก่อน  ซึ่งสอดรับภาษิตที่ว่า  " รักชั่วหามเสา " ด้วยเชื่อว่าจะมีความหนักแน่นในกิจการ           นอกจากนั้นในทางมงคลสูตร  ยังเกี่ยวข้องกับการกำหนด วัน  เดือน  ปี  และเวลาในการหาฤกษ์ยามที่เป็นมงคลและความเป็นสิริมงคลอื่นๆ เช่น รวย มิ่ง เจริญ มาเป็นส่วนร่วมในการยกเสา  การสวดมนตร์  เซ่นไหว้พระภูมิเจ้าที่  การหันหน้าบ้านไปยังทิศมงคล  การสร้างบ้านให้อยู่ในลักขณา  " ลอยหวัน "  ไม่สร้างเป็น  " ขวางหวัน " รัศมีขององค์พระทรงศร ( แสงอาทิตย์ ) เชื่อว่าเป็นมงคล คำว่า " ขวาง "  ก็ให้ความหมายในทาง " ขัดขวาง "  ฟังแล้วก็ไม่เป็นมงคล  ในด้านมงคลสูตรได้กำหนด  แม้แต่การเลือกไม้หรือวัสดุมาใช้  อย่างเช่น  ไม้กอมาสร้างเป็นเสาบ้านความหมายก็คือ  จะแตกเป็นกอกอออกลูกหลานก่อนให้เกิดสิ่งดีๆ สู่บ้านจะใช้  " ไม้นาคบุก " ทำเป็นบันได  ด้วยความเชื่อถือเกี่ยวกับ " บันไดนาค "  มีเสียงคำว่านาคที่พ้องกัน  และใช้ไม้กลิ่นหอมชื่นใจ  เปรียบเสมือนการต้อนรับเข้าสู่ตัวบ้านด้วยความชุ่มชื่นใจ สำหรับกระเบื้องดินเผาไม่ว่าจะเป็นอิฐเผา  หรือกระเบื้อง  หากนำมาสร้างกุฏิแล้วช่างจะกำหนดให้คุณภาพดีเลิศ  ทีมาใช้ในเกาะยอ  คือว่ามีชื่อเสียงเป็นพื้นที่ให้ความนิยมกันมาก  จนมีคำกล่าวยืนยันว่า  " ทิ้งทำหม้อ  เกาะยอทำอ่าง  หัวเขาดักโพงพาง  บ่อยางทำเคย  บ่อเตยทำได้ "  เมื่อครั้งรัชกาลที่ ๕ มีการบูรณะพระวิหารพระธาตุไชยา กำหนดให้ใช้กระเบื้องเกาะยอ จังหวัดสงขลา  ทั้งหมดนี้ล้วนแต่กำหนดเป็นมงคลสูตร คือ " สูตรแห่งการเกิดมงคล "  ในการสร้างอาคารบ้านเรือนเพื่อความเป็นสิริมงคลแก่ผู้อยู่อาศัย

        และเป็นวัดที่เก่าแก่อายุกว่า ๒๐๐ ปี โบราณสถานที่สำคัญภายในวัดประกอบด้วย เจดีย์บนเขาพิหาร อุโบสถ หมู่กุฏิไม้ กุฏิแบบเรือนไทย สระน้ำโบราณ และหอระฆัง นอกจากนี้ด้านหลังเป็นที่ประดิษฐ์สถานของเจดีย์ทรงลังกาที่งดงามของเขาเพหาร  สันนิฐานว่าสร้างในสมัยรัชกาลที่  ๔  บนยอดเขาพิหารแห่งนี้สันนิฐานว่าเดิมคงเป็นที่ตั้งของอุโบสถหลังเก่า  ซึ่งต่อมาในราวกลางพุทธศตวรรษที่  ๒๕  ได้ย้ายอุโบสถมาสร้างที่เชิงเขาด้านล่าง (หลังที่เห็นอยู่ในปัจจุบัน) และได้สร้างเจดีย์ครอบ " หลวงพ่อดำ "  ซึ่งเป็นพระประธานของอุโบสถเดิมเอาไว้  เจดีย์นี้มีลักษณะเป็นเจดีย์ทรงระฆัง  ก่ออิฐถือปูนมีลวดลายปูนปั้นประดับ  อันเป็นฝีมือช่างท้องถิ่นภาคใต้  และมีทางเข้าสู่คูหาที่ประดิษฐานพระพุทธรูปทางด้านทิศตะวันออก  

      กรมศิลปกรได้ประกาศขึ้นทะเบียนเจดีย์บนยอดเขาพิหาร  เป็นโบราณสถานของชาติเมื่อ ๑๕ กันยายน ๒๕๔๐ และได้บูรณะซ่อมแซมเจดีย์ พร้อมทั้งปรับปรุงภูมิทัศน์รอบองค์เจดีย์ในปี พ.ศ. ๒๕๔๔ - ๒๕๔๕