การทอผ้าเป็นงานศิลปวัฒนธรรมที่ชาวเกาะยอนิยมทอผ้ามาไม่น้อยกว่าสมัยรัตนโกสินทร์  สันนิฐานว่าชาวจีนอพยพมาอยู่เกาะยอ  ได้นำการทอผ้ามาด้วย  จนผ้าทอเกาะยอมีชื่อเสียงโด่งดังซึ่งในการทอระยะแรกใช้กี่มือและใช้ตรนแทนกระสวย  ใช้ฝ้ายที่ปลูกเอง  ใช้สีที่ย้อมเองโดยนำเปลือกไม้มาย้อมสี เส้นด้ายเป็นวัตถุดิบที่ใช้ในการทอผ้า  มีทั้ง  ไหมประดิษฐ์  ไหมแท้  และฝ้าย  ผ้าที่ทอมีทั้ง  ผ้าขาวม้า  ผ้าผดสร่ง  และผ้าทอยกดอกด้วยตะกอ มีตั้งแต่ ๔ - ๖ - ๘  ตะกอ ลวดลายผ้าอันเป็นเอกลักษณ์ประจำเกาะยอ การทอในยุคแรกจะเป็นลายเรียบ  ต่อมาเมื่อประเทศไทยมีการค้าขายกับต่างประเทศ  จึงได้ประดิษฐ์ลายขึ้นมามากมายประมาณกว่า  ๔๐  ลาย ได้แก่  ลายราชวัตรดอกเล็ก  ลายราชวัตรดอกใหญ่  ลายลูกแก้ว  ลายดอกพยอม  ลายหางกระรอก  ลายดอกพิกุล  ลายผกากรอง  ลายรสสุคนธ์  ลายเกร็ดแก้ว  ลายหยดน้ำ  สำหรับลายราชวัตรนั้นถือว่าเป็นผ้าลายดอกที่มีต้นกำเนิดมาจากเกาะยอ  ต่อมากลายเป็นผ้าทอลายนิยมของผ้าทอเมืองใต้และเป็นลายที่ได้รับพระราชทานนามพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว  เมื่อครั้งเสร็จประทับ  ณ  สงขลา  พ.ศ.  ๒๕๔๙  ผ้าทอเกาะยอ  ได้รับพิจารณา  คัดสรรให้เป็นนผลิตภัณฑ์เด่นของจังหวัดสงขลา  และยังได้รับ  เครื่องหมายมาตรฐานผลิตภัณฑ์ชุมชน ( มผช. )  อีกด้วยทั้งนี้ก็เพื่อเป็นการรับรอง  คุณภาพ  และสร้างความมั่นใจให้แก่ผู้ใช้ผ้าทอเกาะยอ 

การทอผ้าเกาะยอแบ่งเป็น ๒ ลักษณะ คือ

๑. การทอสลับสี เป็นการทอผ้าแบบพื้นบ้านคือ การทอผ้า ที่ใช้ตะกอเพียง ๒ ตะกอ โดยทำการยกเส้นด้ายยืนเพื่อสอดด้ายพุ่งเข้าไปทำให้เกิดเป็นผืนผ้า ซึ่งเราจะเห็นว่าการทอผ้าแบบพื้นบ้านนั้นแบ่งออกเป็น ๒ ประเภท คือ - การทอสลับสี เป็นการทอผ้าสลับสีทั้งด้ายยืนและด้ายพุ่งเช่น การทอ ผ้าขาวม้า - การทอแบบตีเกลียวสลับสี ซึ่งเราจะได้ยินชื่อผ้าชนิดนี้ว่า ผ้าหางกระรอก ผ้าตาสมุท์ (ตาสมุก) หรือลายตะเครียะ

๒. การทอยกดอก เป็นการทอผ้าเพื่อให้เกิดเป็นลวดลายต่างๆ จะใช้ตะกอเป็นตัวทำลวดลายในการทอผ้าเกาะยอมีตั้งแต่สองตะกอ สี่ตะกอ หกตะกอ แปดตะกอ จนถึงสิบสองตะกอ เช่นผ้าลายต่าง ๆ ซึ่งคุณภาพและความละเอียดของลวดลายต่างก็ขึ้นอยู่กับจำนวนของตะกอที่ใช้ขั้นตอนการทอผ้าในกี่กระตุกมีดังนี้ขั้นที่ ๑ สับตะกอให้ด้ายแยกออกจากกัน โดยใช้เท้าเหยียบคานเหยียบที่อยู่ข้างล่างเพื่อเปิดช่องว่างสำหรับให้ด้ายพุ่ง ผ่านเข้าไปได้ขั้นที่ ๒ ใช้มือพุ่งกระสวยด้ายพุ่งให้สอดไปตามหว่างด้ายที่มีช่องสอดกระสวยซึ่งทำด้วยไม้ขั้นที่ ๓  ปล่อยเท้าที่เหยียบคานเหยียบออก เพื่อให้ด้ายพุ่งรวมเป็นหมู่เดียวกันตามเดิม จากนั้นกระทบฟันหวีโดยแรง ฟันหวีจะพาด้ายพุ่งให้เข้ามาประชิดกันเป็นเส้นตรงขั้นที่ ๔  เหยียบคานเหยียบอีกครั้งหนึ่ง ซึ่งตรงกันข้ามกับขั้นที่ ๑ กระทบฟันหวีโดยแรงอีกครั้งหนึ่ง จากนั้นจึงพุ่งด้ายเส้นที่ ๒ จะทำให้ได้ผ้าเนื้อแน่นขึ้นโดยช่างทอผ้าจะต้องทำตามขั้นตอนตั้งแต่ ขั้นที่ ๑ ถึง ขั้นที่ ๔ สลับกันไปจนกว่าจะได้ผืนผ้าตามความต้องการหรือ จนหมด ความยาวของด้ายยืน แรงกระแทกของฟืม หรือฟันหวีจะมีผลต่อความยาวของผ้าที่ทอคือทำให้เนื้อผ้าแน่น หนาหรือบางได้ คือ ช่างทอผ้าบางคนที่กระแทกฟันหวีแรงจะมีอัตราการทอผ้าได้ประมาณ ๔ - ๕ หลา ต่อวัน และเนื้อผ้าจะหนาแน่นในขณะที่ ถ้ากระแทก ฟันหวีเบาจะทอได้ถึง ๖ - ๗  หลาต่อวันและ ได้เนื้อผ้าจะบางเบา ดังนั้น คุณภาพและราคาของผ้าจึงต่างกันเพราะ แรงกระแทกใน การทอด้วย