การรับรู้เอนทิตี (NER) เป็นงานพื้นฐานในการประมวลผลภาษาธรรมชาติ (NLP) ที่มีจุดมุ่งหมายเพื่อระบุและจำแนกประเภทเอนทิตีที่กล่าวถึงในข้อความลงในหมวดหมู่ที่กำหนดไว้ล่วงหน้าเช่นชื่อของบุคคลองค์กรสถานที่การแสดงออกของปริมาณการลดลง ในช่วงไม่กี่ปีที่ผ่านมาสถาปัตยกรรมของหม้อแปลงได้ปฏิวัติ NLP โดยเสนอการปรับปรุงที่สำคัญในความแม่นยำของ NER ในฐานะซัพพลายเออร์หม้อแปลงเรามีความเชี่ยวชาญในกลไกที่ Transformers เพิ่มความแม่นยำของ NER และเราจะเจาะลึกถึงแง่มุมเหล่านี้ในการสนทนาต่อไปนี้
1. กลไกความสนใจ
หนึ่งในนวัตกรรมที่สำคัญของสถาปัตยกรรมหม้อแปลงคือกลไกความสนใจในตนเอง ซึ่งแตกต่างจากสถาปัตยกรรมเครือข่ายประสาทแบบดั้งเดิมที่พึ่งพาการประมวลผลตามลำดับกลไกความสนใจตนเองช่วยให้แบบจำลองสามารถพิจารณาตำแหน่งทั้งหมดในลำดับอินพุตพร้อมกันและคำนวณผลรวมถ่วงน้ำหนักของคุณสมบัติที่ตำแหน่งที่แตกต่างกัน
ในบริบทของ NER กลไกความสนใจในตนเองนั้นมีประโยชน์อย่างยิ่ง เมื่อประมวลผลประโยคเอนทิตีที่มีชื่อมักจะขยายโทเค็นหลาย ๆ อย่างและความหมายของพวกเขาเกี่ยวข้องอย่างใกล้ชิดกับบริบทโดยรอบ ตัวอย่างเช่นในประโยค "Apple Inc. กำลังวางแผนเปิดตัวผลิตภัณฑ์ใหม่ในซานฟรานซิสโกในเดือนหน้า" กลไกความสนใจตนเองสามารถกำหนดน้ำหนักสูงให้กับโทเค็น "Apple", "Inc. ", "ซานฟรานซิสโก" และ "เดือนหน้า" ด้วยการคำนึงถึงการพึ่งพาระยะยาวในประโยคแบบจำลองสามารถเข้าใจความสัมพันธ์เชิงความหมายระหว่างโทเค็นที่แตกต่างกันและระบุเอนทิตีที่มีชื่อได้อย่างแม่นยำ
กระดาษ "ความสนใจคือสิ่งที่คุณต้องการ" ที่มีชื่อเสียงแนะนำสถาปัตยกรรมหม้อแปลงและแสดงให้เห็นว่ากลไกความสนใจในตนเองสามารถจับการพึ่งพาที่ซับซ้อนในลำดับได้อย่างไร ความสนใจแบบหลายตัวเองช่วยเพิ่มความสามารถนี้โดยการอนุญาตให้โมเดลมุ่งเน้นไปที่แง่มุมต่าง ๆ ของลำดับอินพุตจากหลายมุมมอง สิ่งนี้มีประโยชน์อย่างยิ่งใน NER ซึ่งเอนทิตีที่มีชื่อแตกต่างกันอาจต้องการข้อมูลบริบทที่แตกต่างกันเพื่อให้ได้รับการยอมรับอย่างถูกต้อง
2. ก่อน - การฝึกอบรมและการปรับกระบวนทัศน์
Transformers มักจะใช้การฝึกอบรมก่อนการฝึกอบรมและการปรับแต่ง ในขั้นตอนก่อนการฝึกอบรมแบบจำลองภาษาขนาดใหญ่ได้รับการฝึกฝนเกี่ยวกับข้อมูลข้อความที่ไม่มีป้ายกำกับจำนวนมากเช่นบทความ Wikipedia หรือ News Corpora ในระหว่างการฝึกอบรมก่อน - โมเดลเรียนรู้ความรู้ภาษาทั่วไปรวมถึงคำศัพท์ไวยากรณ์และข้อมูลความหมาย
สำหรับ NER แบบจำลองหม้อแปลงที่ผ่านการฝึกอบรมล่วงหน้าได้จับข้อมูลภาษามากมายแล้ว Fine - การปรับแต่งโมเดลที่ผ่านการฝึกอบรมล่วงหน้าบนชุดข้อมูล NER ที่มีป้ายกำกับสามารถปรับโมเดลให้เข้ากับงาน NER ที่เฉพาะเจาะจงได้อย่างรวดเร็ว เนื่องจากรูปแบบที่ผ่านการฝึกอบรมก่อนได้เรียนรู้การเป็นตัวแทนความหมายที่หลากหลายแล้วกระบวนการปรับแต่งที่ดีสามารถใช้ประโยชน์จากการเป็นตัวแทนเหล่านี้ได้อย่างมีประสิทธิภาพและปรับพารามิเตอร์แบบจำลองเพื่อมุ่งเน้นไปที่การจดจำเอนทิตีที่มีชื่อ
แบบจำลองเช่นเบิร์ต (การเป็นตัวแทนตัวเข้ารหัสแบบสองทิศทางจากหม้อแปลง) ได้แสดงประสิทธิภาพที่ยอดเยี่ยมในงาน NER เบิร์ตได้รับการฝึกฝนล่วงหน้าโดยใช้การสร้างแบบจำลองภาษาที่สวมหน้ากากและงานทำนายประโยคต่อไป การสร้างแบบจำลองภาษาที่สวมหน้ากากบังคับให้แบบจำลองทำนายโทเค็นที่สวมหน้ากากตามบริบทโดยรอบซึ่งช่วยให้แบบจำลองเรียนรู้ข้อมูลบริบทแบบสองทิศทาง ข้อมูลแบบสองทิศทางนี้มีความสำคัญสำหรับ NER เนื่องจากหน่วยงานที่มีชื่อจำเป็นต้องได้รับการยอมรับตามบริบทก่อนหน้าและต่อไปนี้
3. การฝังคำบริบท
Transformers สร้างการฝังคำที่เป็นบริบท การฝังคำแบบดั้งเดิมเช่น Word2vec หรือถุงมือกำหนดตัวแทนการแสดงเวกเตอร์คงที่ให้กับแต่ละคำในคำศัพท์โดยไม่คำนึงถึงบริบทที่คำนั้นปรากฏขึ้น ในทางตรงกันข้าม Transformers จะสร้างคำที่ฝังอยู่ในบริบทของคำภายในประโยค
ในการฝังคำว่าบริบทที่มีบริบทมีประโยชน์สูง คำอาจมีความหมายทางความหมายที่แตกต่างกันในบริบทที่แตกต่างกันและเอนทิตีที่มีชื่ออาจได้รับผลกระทบจากบริบท ตัวอย่างเช่นคำว่า "ธนาคาร" สามารถอ้างถึงสถาบันการเงินหรือด้านข้างของแม่น้ำ ด้วยการใช้การฝังคำที่เป็นบริบทแบบจำลองหม้อแปลงสามารถแยกแยะความหมายที่แตกต่างกันเหล่านี้และจำแนกเอนทิตีที่มีชื่อได้อย่างแม่นยำ
สถาปัตยกรรมหม้อแปลงประสบความสำเร็จโดยผ่านลำดับอินพุตผ่านหลายเลเยอร์ของความสนใจและฟีด - เครือข่ายประสาทไปข้างหน้า แต่ละเลเยอร์ปรับแต่งการแสดงคุณลักษณะของลำดับอินพุตช่วยให้โมเดลสามารถสร้างคำศัพท์เชิงบริบทที่แม่นยำยิ่งขึ้น
4. ความทนทานของโมเดลและการวางนัยทั่วไป
หม้อแปลงเป็นที่รู้จักกันดีในเรื่องความแข็งแกร่งและความสามารถในการวางนัยทั่วไป การฝึกอบรมแหล่งข้อมูลที่หลากหลายขนาดใหญ่ช่วยให้แบบจำลองเรียนรู้รูปแบบภาษาที่หลากหลายและข้อมูลความหมาย สิ่งนี้ช่วยให้โมเดลสามารถทำงานได้ดีในงานที่หลากหลายแม้ว่าจะต้องรับมือกับเอนทิตีชื่อที่มองไม่เห็นหรือหายาก
นอกจากนี้สถาปัตยกรรมของหม้อแปลงยังไม่รู้สึกถึงลำดับของโทเค็นอินพุตเมื่อเทียบกับโมเดลเครือข่ายประสาทที่เกิดขึ้นซ้ำแบบดั้งเดิม ซึ่งหมายความว่าโมเดลยังสามารถจดจำเอนทิตีที่มีชื่อได้อย่างถูกต้องแม้ว่าประโยคอินพุตจะมีเสียงรบกวนหรือไม่ได้มีโครงสร้างอย่างสมบูรณ์แบบ ตัวอย่างเช่นในข้อมูลข้อความโลกจริงอาจมีการพิมพ์ผิด, ตัวย่อหรือคำสั่งคำที่ไม่ใช่มาตรฐาน โมเดลหม้อแปลงยังสามารถใช้ประโยชน์จากบริบทโดยรวมเพื่อระบุเอนทิตีที่มีชื่อ
การประยุกต์ใช้หม้อแปลงของเราใน NER
ในฐานะซัพพลายเออร์หม้อแปลงเรานำเสนอโซลูชั่นที่ใช้หม้อแปลงคุณภาพสูงที่มีคุณภาพสูงซึ่งสามารถปรับปรุงความแม่นยำของ NER ได้อย่างมีนัยสำคัญ หม้อแปลงของเราได้รับการออกแบบด้วยสถาปัตยกรรมที่ดีที่สุดและอัลกอริทึมการฝึกอบรมเพื่อให้แน่ใจว่าประสิทธิภาพที่ยอดเยี่ยม
เราให้ยาว - น้ำมันชีวิต - หม้อแปลงไฟฟ้ากริดที่เติมเต็ม-สายฟ้า - หม้อแปลงไฟฟ้าพลังงานอุตสาหกรรมป้องกัน, และน้ำมันระบายความร้อนธรรมชาติ - ป้องกันตัวเอง - หม้อแปลงแช่- หม้อแปลงเหล่านี้สามารถปรับแต่งตามความต้องการเฉพาะของโครงการ NER ทีมงานด้านเทคนิคของเรามีประสบการณ์มากมายในการทำงานเกี่ยวกับงาน NER และสามารถให้การสนับสนุนที่ครอบคลุมตั้งแต่การฝึกอบรมก่อน - การปรับแต่งและการปรับใช้
หากคุณต้องการเพิ่มความแม่นยำของงาน NER ของคุณหม้อแปลงของเราอาจเป็นตัวเลือกที่เหมาะ ไม่ว่าคุณจะกำลังทำงานในโครงการสกัดข้อมูลขนาดใหญ่หรือคำถามขนาดเล็ก - ระบบตอบรับหม้อแปลงของเราสามารถช่วยให้คุณได้ผลลัพธ์ที่ดีขึ้น
ติดต่อเราสำหรับโซลูชั่น ner
เรายินดีต้อนรับลูกค้าที่มีศักยภาพติดต่อเราเพื่อการอภิปรายเชิงลึกเกี่ยวกับโซลูชั่น NER โดยใช้หม้อแปลงของเรา ทีมขายของเรายินดีที่จะให้ข้อมูลผลิตภัณฑ์โดยละเอียดข้อกำหนดทางเทคนิคและรายละเอียดการกำหนดราคา ด้วยการใช้ประโยชน์จากความเชี่ยวชาญและหม้อแปลงประสิทธิภาพสูงของเราคุณสามารถนำโครงการ NER ของคุณไปสู่ระดับต่อไป
การอ้างอิง
- Vaswani, A. , Shazer, N. , Parmar, N. , Uszkoreit, J. , Jones, L. , Gomez, An, ... & Polosukhin, I. (2017) ความสนใจคือสิ่งที่คุณต้องการ ในความก้าวหน้าในระบบการประมวลผลข้อมูลระบบประสาท
- Devlin, J. , Chang, MW, Lee, K. , & Toutanova, K. (2018) เบิร์ต: การฝึกอบรมหม้อแปลงสองทิศทางลึกเพื่อทำความเข้าใจภาษา arxiv preprint arxiv: 1810.04805
