Noam Shazeer และสถาปัตยกรรม Transformer เบื้องหลัง LLMs

ทำไม Transformer ยังสำคัญ

Transformer คือวิธีช่วยให้คอมพิวเตอร์เข้าใจลำดับข้อมูล—สิ่งที่ลำดับและบริบทมีความหมาย เช่น ประโยค โค้ด หรือชุดคำค้นหา แทนที่จะอ่านทีละโทเค็นแล้วพยายามพกความจำที่เปราะบางไปข้างหน้า Transformers มองไปทั่วทั้งลำดับและตัดสินใจว่าจะให้ความสนใจกับอะไรเมื่อแปลความแต่ละส่วน

การเปลี่ยนมุมมองง่าย ๆ นี้กลับกลายเป็นเรื่องใหญ่ เพราะเป็นเหตุผลหลักที่ทำให้โมเดลภาษาใหญ่ (LLMs) สมัยใหม่สามารถรักษาบริบท ปฏิบัติตามคำสั่ง เขียนย่อหน้าที่สอดคล้อง และสร้างโค้ดที่อ้างถึงฟังก์ชันหรือตัวแปรก่อนหน้านี้ได้

ทำไมคุณถึงเจอ Transformer บ่อย

หากคุณเคยใช้แชทบอท ฟีเจอร์ "สรุปข้อความ" การค้นหาเชิงความหมาย หรือผู้ช่วยเขียนโค้ด คุณได้โต้ตอบกับระบบที่ใช้ Transformer แบบฐานเดียวกันแล้ว แบบแปลนนี้รองรับ:

• เครื่องมือแชทและสนับสนุนลูกค้าที่ติดตามสิ่งที่คุณพูดก่อนหน้า
• ระบบค้นหาและแนะนำที่จับความหมาย ไม่ใช่แค่คำสำคัญ
• การสรุปที่ชั่งน้ำหนักสิ่งสำคัญกับรายละเอียดประกอบ
• เครื่องมือเขียนโค้ดที่เชื่อมโยงนิยาม การใช้งาน และเจตนาระหว่างไฟล์

สิ่งที่จะได้เรียนรู้ในบทความนี้

เราจะแยกส่วนสำคัญ—self-attention, multi-head attention, positional encoding และบล็อก Transformer พื้นฐาน—และอธิบายว่าทำไมการออกแบบนี้ถึงสเกลได้ดีเมื่อโมเดลขยายใหญ่ขึ้น

เรายังจะกล่าวถึงรูปแบบสมัยใหม่ที่รักษาแนวคิดหลักไว้ แต่ปรับจูนเพื่อความเร็ว ต้นทุน หรือหน้าต่างบริบทที่ยาวขึ้น

ควรคาดหวังอะไร (และไม่ควรคาดหวัง)

นี่เป็นทัวร์ระดับสูงพร้อมคำอธิบายเป็นภาษาธรรมดาและคณิตศาสตร์น้อยที่สุด เป้าหมายคือสร้างสัญชาตญาณ: ส่วนต่าง ๆ ทำงานอย่างไร ทำไมมันทำงานร่วมกัน และสิ่งนั้นแปลเป็นความสามารถของผลิตภัณฑ์อย่างไร

บทบาทของ Noam Shazeer ในเรื่องราวของ Transformer

Noam Shazeer เป็นนักวิจัยและวิศวกร AI ที่เป็นที่รู้จักในฐานะผู้เขียนร่วมของบทความปี 2017 "Attention Is All You Need." บทความนั้นได้แนะนำสถาปัตยกรรม Transformer ซึ่งต่อมากลายเป็นพื้นฐานของ LLMs สมัยใหม่ งานของ Shazeer อยู่ในบริบทของความพยายามเป็นทีม: Transformer ถูกสร้างขึ้นโดยกลุ่มนักวิจัยที่ Google และควรให้เครดิตในลักษณะนั้น

สิ่งที่บทความปี 2017 เปลี่ยนแปลง

ก่อน Transformer ระบบ NLP หลายตัวพึ่งพาโมเดลลำดับเช่น recurrent models ที่ประมวลผลข้อความทีละก้าว ข้อเสนอ Transformer แสดงให้เห็นว่าสามารถโมเดลลำดับได้อย่างมีประสิทธิภาพโดยไม่ต้องมี recurrence โดยใช้ attention เป็นกลไกหลักในการผสมข้อมูลข้ามประโยค

การเปลี่ยนแปลงนี้สำคัญเพราะทำให้การเทรนขนานได้ง่ายขึ้น (คุณสามารถประมวลผลหลายโทเค็นพร้อมกัน) และเปิดทางให้การสเกลโมเดลและชุดข้อมูลในแบบที่เร็วขึ้นและใช้งานได้จริงในผลิตภัณฑ์

จากแนวคิดวิจัยสู่บล็อกของการพัฒนา

ผลงานของ Shazeer—ควบคู่กับผู้เขียนคนอื่น ๆ—ไม่ได้หยุดอยู่แค่เกณฑ์เชิงวิชาการ Transformer กลายเป็นโมดูลที่นำกลับมาใช้ใหม่ได้ที่ทีมงานสามารถปรับแต่ง: เปลี่ยนชิ้นส่วน ปรับขนาด ปรับแต่งงานสำหรับงานต่าง ๆ และต่อมาฝึกล่วงหน้าในสเกลใหญ่

นี่คือวิธีที่หลาย ๆ เบรกทรูเดินทาง: บทความเสนอสูตรที่ชัดเจนทั่วไป; วิศวกรปรับแต่ง; บริษัทนำไปปฏิบัติ; และในที่สุดมันกลายเป็นตัวเลือกเริ่มต้นสำหรับการสร้างฟีเจอร์ด้านภาษา

การให้เครดิตอย่างแม่นยำ

ถูกต้องที่จะกล่าวว่า Shazeer เป็นผู้ร่วมมีส่วนสำคัญและเป็นผู้เขียนร่วมของบทความ Transformer แต่ไม่ถูกต้องที่จะกล่าวว่าเขาเป็นผู้ประดิษฐ์คนเดียว ผลกระทบมาจากการออกแบบโดยรวมของทีม—และจากการปรับปรุงต่อ ๆ มาโดยชุมชนและอุตสาหกรรมที่สร้างขึ้นบนสูตรเดิมนั้น

สิ่งที่มาก่อน: RNNs, LSTMs และข้อจำกัดของพวกมัน

ก่อน Transformers ปัญหาลำดับส่วนใหญ่ (การแปลภาษา การพูด การสร้างข้อความ) ถูกครอบงำโดย Recurrent Neural Networks (RNNs) และต่อมาก็เป็น LSTMs (Long Short-Term Memory networks) ไอเดียหลักคืออ่านข้อความ ทีละโทเค็น เก็บ “ความจำ” แบบกำลังทำงาน (hidden state) และใช้สภาวะนั้นทำนายสิ่งที่จะเกิดขึ้นถัดไป

ภาพรวดเร็วของการทำงาน

RNN ประมวลผลประโยคเหมือนโซ่ แต่ละก้าวอัปเดต hidden state โดยอิงจากคำปัจจุบันและ hidden state ก่อนหน้า LSTMs ปรับปรุงจุดนี้โดยเพิ่มเกตที่ตัดสินใจว่าจะเก็บ ลืม หรือส่งออกอะไร—ทำให้รักษาสัญญาณที่เป็นประโยชน์ได้นานขึ้น

ทำไมการพึ่งพาแบบระยะไกลจึงยาก

ในทางปฏิบัติ ความจำแบบลำดับมีคอขวด: ข้อมูลจำนวนมากต้องถูกบีบผ่านสถานะเดียวเมื่อลำดับยาวขึ้น แม้กับ LSTMs สัญญาณจากคำที่อยู่ไกลอาจจางหายหรือถูกเขียนทับ

สิ่งนี้ทำให้ความสัมพันธ์บางอย่างเรียนรู้ได้ยาก เช่น การเชื่อมคำสรรพนามกับคำนามที่ถูกต้องหลายคำก่อนหน้า หรือการติดตามหัวข้อข้ามหลายประโยค

ความท้าทายด้านการเทรนและการสเกล

RNNs และ LSTMs ยัง ช้าในการเทรน เพราะไม่สามารถขนานได้เต็มที่ตามเวลา คุณสามารถแบทช์ข้ามประโยคต่าง ๆ แต่ภายในประโยคหนึ่ง ก้าวที่ 50 ขึ้นกับก้าวที่ 49 ซึ่งขึ้นกับก้าวที่ 48 เป็นต้น

การคำนวณทีละขั้นตอนนี้กลายเป็นข้อจำกัดเมื่อคุณต้องการโมเดลใหญ่ขึ้น ข้อมูลมากขึ้น และการทดลองที่เร็วขึ้น

แรงจูงใจสำหรับแนวทางที่ขนานได้มากขึ้น

นักวิจัยต้องการออกแบบที่สามารถเชื่อมคำต่าง ๆ เข้าด้วยกัน โดยไม่ต้องเดินจากซ้ายไปขวาอย่างเคร่งครัดระหว่างการเทรน—วิธีที่จะโมเดลความสัมพันธ์ระยะไกลโดยตรงและใช้ประโยชน์จากฮาร์ดแวร์สมัยใหม่ได้ดีขึ้น ความกดดันนี้เป็นเวทีให้กับแนวทาง attention-first ที่แนะนำใน Attention Is All You Need

Attention อธิบายโดยไม่ใช้คณิตศาสตร์

Attention คือวิธีที่โมเดลถามว่า: "คำอื่นคำไหนฉันควรดูตอนนี้เพื่อเข้าใจคำนี้?" แทนที่จะอ่านประโยคจากซ้ายไปขวาอย่างเข้มงวดและหวังว่าความจำจะพอเก็บ Attention ให้โมเดลสามารถมองจุดที่เกี่ยวข้องในประโยคเมื่อมันต้องการได้

แนวคิด "ค้นหาแล้วดึง"

โมเดลค่อย ๆ ทำงานเหมือนเสิร์ชเอ็นจินเล็ก ๆ ภายในประโยค

• Query: สิ่งที่คำปัจจุบันกำลังมองหา (คำถาม)
• Keys: สิ่งที่แต่ละคำอื่นเสนอ (ป้ายชื่อของการจับคู่ที่เป็นไปได้)
• Values: ข้อมูลจริงที่จะดึงหากมีการจับคู่ (เนื้อหา)

โมเดลจึงสร้าง query สำหรับตำแหน่งปัจจุบัน เทียบกับ keys ของทุกตำแหน่ง แล้วดึงการผสมของ values

คะแนนความเกี่ยวข้อง → น้ำหนัก attention

การเปรียบเทียบเหล่านั้นให้ คะแนนความเกี่ยวข้อง: สัญญาณคร่าว ๆ ว่า "เกี่ยวข้องแค่ไหน" โมเดลเปลี่ยนคะแนนเหล่านี้เป็น น้ำหนัก attention ซึ่งเป็นสัดส่วนที่รวมกันได้ 1

ถ้าคำใดคำหนึ่งเกี่ยวข้องมาก มันจะได้รับสัดส่วนความสนใจมากขึ้น หากหลายคำสำคัญ attention สามารถกระจายไปยังหลายคำได้

ตัวอย่างง่าย ๆ (คำสรรพนามและไวยากรณ์)

ให้ตัวอย่าง: “Maria told Jenna that she would call later.”

เพื่อแปลความ she โมเดลควรมองย้อนกลับไปหาผู้สมัครเช่น “Maria” และ “Jenna” Attention จะให้ค่าน้ำหนักสูงขึ้นกับชื่อที่เข้ากับบริบทที่สุด

หรือพิจารณา: “The keys to the cabinet are missing.” Attention ช่วยเชื่อมคำว่า “are” กับ “keys” (ประธานจริง) ไม่ใช่ “cabinet” แม้ว่า “cabinet” จะอยู่ใกล้กว่า นั่นคือประโยชน์หลัก: attention เชื่อมความหมายข้ามระยะทางตามความจำเป็น

Self-Attention: กลไกหลัก

Self-attention คือไอเดียที่ว่าแต่ละโทเค็นในลำดับสามารถมองดูโทเค็นอื่นในลำดับเดียวกันเพื่อกำหนดว่าสิ่งใดสำคัญในตอนนั้น แทนที่จะประมวลผลคำจากซ้ายไปขวา (เหมือนโมเดลลำดับเก่า) Transformer ให้แต่ละโทเค็นรวบรวมเบาะแสจากทุกที่ในอินพุต

โทเค็นที่ให้ความสนใจกับโทเค็น

จินตนาการประโยค: “I poured the water into the cup because it was empty.” คำว่า “it” ควรเชื่อมโยงกับ “cup” ไม่ใช่ “water” ด้วย self-attention โทเค็นสำหรับ “it” จะให้ความสำคัญมากขึ้นกับโทเค็นที่ช่วยคลี่คลายความหมาย (“cup”, “empty”) และให้ความสำคัญน้อยกับคำที่ไม่เกี่ยวข้อง

วิธีที่สร้างบริบท

หลัง self-attention แต่ละโทเค็นจะไม่ใช่แค่ตัวมันเองอีกต่อไป แต่มันกลายเป็นเวอร์ชันที่รับรู้บริบท—การผสมถ่วงน้ำหนักของข้อมูลจากโทเค็นอื่น ๆ คุณสามารถคิดได้ว่าแต่ละโทเค็นสร้างสรุปเฉพาะบุคคลของทั้งประโยค ปรับให้เข้ากับสิ่งที่โทเค็นนั้นต้องการ

ในทางปฏิบัติ นั่นหมายถึงการแทนค่าของ “cup” สามารถพกสัญญาณจาก “poured”, “water” และ “empty” ขณะที่ “empty” ก็สามารถดึงข้อมูลที่มันบรรยายได้

ทำไมการเทรนขนานได้

เพราะแต่ละโทเค็นสามารถคำนวณ attention ของตัวเองเหนือทั้งลำดับพร้อมกัน การเทรนไม่ต้องรอให้โทเค็นก่อนหน้าถูกประมวลผลทีละก้าว การประมวลผลแบบขนานนี้เป็นเหตุผลสำคัญที่ Transformers เทรนได้มีประสิทธิภาพในชุดข้อมูลขนาดใหญ่และสเกลขึ้นสู่โมเดลขนาดใหญ่

ทำไมมันแข็งแกร่งกับความสัมพันธ์ระยะไกล

Self-attention ทำให้เชื่อมส่วนที่อยู่ไกลของข้อความได้ง่ายขึ้น โทเค็นสามารถมุ่งตรงไปยังคำที่เกี่ยวข้องซึ่งอยู่ไกล โดยไม่ต้องส่งข้อมูลผ่านโซ่ขั้นกลางยาว ๆ

เส้นทางตรงนี้ช่วยงานเช่น coreference ("she", "it", "they"), การติดตามหัวข้อข้ามย่อหน้า และการจัดการคำสั่งที่พึ่งพารายละเอียดก่อนหน้า

Multi-Head Attention: หลายมุมมองของประโยคเดียวกัน

Attention เดี่ยวทรงพลัง แต่ยังเหมือนการดูการสนทนาเพียงมุมกล้องมุมเดียว ประโยคมักมีความสัมพันธ์หลายแบบพร้อมกัน: ใครทำอะไร อะไรที่ "it" อ้างถึง คำไหนตั้งโทน และหัวข้อโดยรวมคืออะไร

ทำไมมุมมอง attention เดียวอาจไม่พอ

เมื่อคุณอ่าน “The trophy didn’t fit in the suitcase because it was too small,” คุณอาจต้องติดตามเบาะแสหลายอย่างพร้อมกัน (ไวยากรณ์ ความหมาย และบริบทโลกจริง) หัว attention เดียวอาจจับคำนามที่ใกล้ที่สุด ขณะที่อีกหัวอาจใช้วลีคำกริยาเพื่อตัดสินว่า "it" อ้างถึงอะไร

หลายหัวทำอะไรได้บ้าง

Multi-head attention รันการคำนวณ attention หลายชุดพร้อมกัน แต่ละ "หัว" ถูกกระตุ้นให้มองประโยคผ่านเลนส์ที่ต่างกัน—มักอธิบายว่าเป็น subspaces ต่างกัน ในทางปฏิบัติ หัวต่าง ๆ สามารถเชี่ยวชาญรูปแบบต่าง ๆ เช่น:

• ไวยากรณ์ท้องถิ่น (เช่น คำคุณศัพท์ → คำนาม)
• ลิงก์ระยะไกล (เช่น ประธาน ↔ กริยาข้ามวลีกลาง)
• การอ้างถึง (เช่น คำสรรพนาม → เอนทิตี้)
• สัญญาณหัวข้อ (คำที่ตั้งหัวข้อหรือโทน)

วิธีรวมหัวต่าง ๆ

หลังจากแต่ละหัวให้ข้อมูลเชิงลึกของตัวเอง โมเดลไม่ได้เลือกแค่หัวเดียว มัน concatenate เอาผลลัพธ์ของหัวทั้งหมด (วางซ้อนกันแนวนอน) แล้ว project กลับสู่พื้นที่ทำงานหลักของโมเดลด้วยเลเยอร์เชิงเส้นที่เรียนได้

คิดว่าเหมือนการรวมบันทึกย่อหลายฉบับเป็นสรุปเดียวที่ชั้นถัดไปใช้ ผลลัพธ์คือการแทนค่าที่จับความสัมพันธ์หลายแบบพร้อมกัน—หนึ่งในเหตุผลที่ Transformers ทำงานได้ดีเมื่อสเกลขึ้น