เกาะยอเป็นเกาะที่ตั้งอยู่กลางทะเลสาบสงขลาตอนล่าง มีฐานะเป็นตำบลหนึ่งในอำเภอเมืองสงขลา จังหวัดสงขลา ระยะห่างจากที่ว่าการอำเภอเมืองสงขลาไปทางทิศทางตะวันตกเฉียงใต้ โดยทางบกประมาณ 15 กิโลเมตร และโดยทางน้ำหรือทางทะเลประมาณ 6 กิโลเมตร ที่ตั้งตามพิกัดทางภูมิศาสตร์ เกาะยอตั้งอยู่บริเวณเส้นรุ้งที่ 6 องศา 17 ลิปดา ถึง 7 องศา 56 ลิปดา เหนือ และเส้นแวงที่ 100 องศา 1 ลิปดา ถึงเส้นแวงที่ 101 องศา 6 ลิปดา ตะวันออก เกาะยอมีอาณาเขตติดต่อกับพื้นที่ต่าง ๆ ดังนี้

ทิศเหนือ จดทะเลสาบสงขลา เขตเทศบาลเมืองสิงหนคร อำเภอสิงหนคร จังหวัดสงขลา

ทิศใต้ จดทะเลสาบสงขลา เขตองค์การบริหารส่วนตำบลพะวง อำเภอเมืองสงขลา และ เขตเทศบาลตำบลน้ำน้อย อำเภอหาดใหญ่ จังหวัดสงขลา

ทิศตะวันออก จดทะเลสาบสงขลา เทศบาลตำบลเขารูปช้างและตำบลบ่อยาง อำเภอเมือง สงขลา จังหวัดสงขลา

ทิศตะวันตก จดทะเลสาบสงขลา เขตองค์การบริหารส่วนตำบลบางเหรียง และตำบลรัตภูมิ อำเภอควนเนียง จังหวัดสงขลา

เกาะยอมีเนื้อที่รวมทั้งพื้นน้ำ 17.95 ตารางกิโลเมตร หรือประมาณ 11,220 ไร่ และมีเนื้อที่ เฉพาะพื้นดินเพียง 15 ตารง กิโลเมตร หรือ 9,375 ไร่ พื้นที่ส่วนใหญ่ใช้ในการเกษตร คือ ปลูกสวน ผลไม้ ประมาณ 3,800 ไร่ คิดเป็นร้อยละ 40.53 ของ พื้นที่รวม ปลูกยางพารา ประมาณ 3,223 ไร่ คิดเป็น ร้อยละ 34.38 ของพื้นที่รวมและพื้นที่การเกษตรอื่น ๆ 2,275 ไร่ คิดเป็นร้อยละ 24.27 ของพื้นที่รวม และพื้นที่ สาธารณประโยชน์ 77 ไร่ คิดเป็นร้อยละ 0.82 ของพื้นที่ รวม

การตั้งถิ่นฐานของผู้คนบนเกาะยอระยะแรก

เกาะยอในยุคแรกเริ่มประวัติศาสตร์มีสภาพเป็นป่าเขายังไม่มี ผู้คนอพยพเข้าไปตั้งถิ่นฐาน ต่อมาในสมัยตอนปลายสุโขทัยและสมัยอยุธยาจึงเริ่มพบหลักฐานเกาะยอในแผนที่ภาพกัลปนาวัดพะโคะ ซึ่งมีภาพเกาะยออยู่ตอนปลายสุดของแผนที่เขียนเป็นรูปภูเขา ระบุไว้ว่า "เข้าก้อะญอ"

นอกจากนี้เกาะยอยังปรากฏอยู่ในแผนที่เมืองสงขลา (แผนที่เมืองสงขลาปัจจุบันเก็บรักษาไว้ที่หอจดหมายแห่งชาติ กรมศิลปากร) เขียนขึ้นเมื่อ พ.ศ. 2230 โดยนายมองเดียร์ เดอลามาร์ วิศวกรชาวฝรั่งเศส แผนที่ดังกล่าวแสดงให้เห็นว่ามีชุมชนบนเกาะยอเกิดขึ้นแล้วอย่างน้อย 9 ชุมชน ชุมชนส่วนใหญ่ตั้งอยู่บนที่ราบเชิงเขาริมฝั่งทะเลรอบ ๆ ภูเขาทางทิศใต้ ทิศตะวันออกและทิศตะวันตกของเกาะยอ ซึ่งปัจจุบันตรงกับบริเวณเขาหัวหลัง เขาสวนใหม่ และเขากุฏิ

การตั้งถิ่นฐานของชุมชนเริ่มแรกบนเกาะยอน่าจะตรงกับบริเวณ หมู่ที่ 6 บ้านนาถิ่น หมู่ที่ 7 บ้านป่าโหนด หมู่ที่ 8 บ้านท้ายเสาะ หมู่ที่ 5 บ้านท่าไทร หมู่ที่ 4 บ้านสวนทุเรียน และหมู่ที่ 2 บ้านนอก กลุ่มชนพวกแรกที่อพยพเข้ามาตั้งถิ่นฐานบนเกาะยออย่างน้อยในสมัยอยุธยาจนถึงรัชกาลที่ 3 และรัชกาลที่ 5 แห่งกรุงรัตนโกสินทร์ กลุ่มคนจีนอพยพจากเมืองจีน และชาวจีนที่เข้ามาตั้งถิ่นฐานเป็นกลุ่มที่เข้ามาทำเครื่องปั้นดินเผาประเภท อิฐ กระเบื้อง หม้อ ไห โอ่ง อ่าง เพราะบริเวณเกาะยอมีดินดีเหมาะแก่การทำเครื่องปั้นดินเผา

นอกจากนี้แล้วคงจะมีกลุ่มคนไทยที่นับถือพุทธศาสนาจากท้องถิ่นเมืองสงขลาได้อพยพเข้ามาตั้งถิ่นฐานส่วนหนึ่งด้วย ดังได้พบหลักฐานเจดีย์บรรจุอัฐิสมเด็จเจ้าเกาะยอบนยอดเขากุฎิที่มีมาตั้งแต่สมัยอยุธยา จากหลักฐานดังกล่าวพอสรุปได้ว่าชาวเกาะยอในรุ่นแรก ๆ ที่เข้ามาตั้งถิ่นฐานเป็นชาวไทยและชาวจีนจากโพ้นทะเลซึ่งผู้คนกลุ่มนี้ต่อมาได้ผสมกลมกลืนทางสังคมและวัฒนธรรมกับคนไทยพื้นถิ่นได้กลายเป็นตัวตนที่แท้จริงของชาวเกาะยอสืบทอดมาจนปัจจุบัน