การฝังตรรกะที่ได้รับแรงบันดาลใจจากควอนตัมเพื่อการเป็นตัวแทนความรู้

การฝังตรรกะที่ได้รับแรงบันดาลใจจากควอนตัมเพื่อการเป็นตัวแทนความรู้

เครดิตฟรี

การแสดงความรู้เป็นสาขาของ AI ที่เกี่ยวข้องกับการแสดงความรู้ในรูปแบบที่เครื่องสามารถจัดเก็บ เข้าถึง และใช้สำหรับการแก้ปัญหาการให้เหตุผลที่ซับซ้อน เช่น การตอบคำถาม การโต้ตอบในระบบการสนทนา และการโต้แย้งทางคอมพิวเตอร์ ในบทความใหม่ของเราที่จะนำเสนอที่ NeurIPS 2019 เราพัฒนาการแสดงความรู้ใหม่ ซึ่งเราเรียกว่า “การฝังควอนตัม” ซึ่งแสดงถึงความรู้เชิงแนวคิดโดยใช้การแสดงพื้นที่เวกเตอร์ที่คงโครงสร้างเชิงตรรกะไว้ และช่วยให้สามารถแก้ปัญหาการใช้เหตุผลได้อย่างถูกต้องและ อย่างมีประสิทธิภาพ

สล็อต

จนกระทั่งเมื่อเร็วๆ นี้ แนวทางที่โดดเด่นในการนำเสนอความรู้ส่วนใหญ่เป็นสัญลักษณ์ โดยที่ข้อเท็จจริงจะแสดงด้วยสัญลักษณ์ และใช้การให้เหตุผลเชิงตรรกะเพื่ออนุมานข้อเท็จจริงใหม่และทำการอนุมาน ตัวอย่างของกรอบงานเชิงสัญลักษณ์และตรรกะ ได้แก่ First Order Logic (FOL), Web Ontology Language (OWL) และ Frame Language ในทางปฏิบัติ การใช้เหตุผลเชิงสัญลักษณ์อาจช้าและเปราะบาง แม้จะแม่นยำก็ตาม ในทางกลับกัน การแทนค่าพื้นที่เวกเตอร์แบบต่อเนื่อง และกรอบการให้เหตุผลที่สอดคล้องกัน เป็นทางเลือกหนึ่ง [1] แม้ว่าพวกเขาจะรวดเร็วและมีประสิทธิภาพ แต่ก็เป็นค่าประมาณ การแสดงอย่างต่อเนื่องเกิดขึ้นจากสาขาวิชา Statistical Relational Learning (SRL) [2, 3] ซึ่งความรู้ถูกฝังลงในช่องว่างเวกเตอร์โดยใช้การแทนค่าแบบกระจายที่รวบรวมความคล้ายคลึงทางสถิติระหว่างเอนทิตีและเพรดิเคต แม้ว่าจะมีข้อดีในการใช้การแสดงแทนแบบกระชับ แต่โดยทั่วไปแล้วจะไม่รักษาโครงสร้างทางตรรกะที่อยู่เบื้องหลัง ในทางกลับกัน สิ่งนี้จะจำกัดประสิทธิภาพของงานการให้เหตุผลเชิงตรรกะ
ความท้าทายในการพัฒนาการนำเสนอความรู้อย่างต่อเนื่องที่มีประสิทธิภาพซึ่งสนับสนุนการใช้เหตุผลเชิงตรรกะได้กระตุ้นให้ทีมวิจัยของ IBM พัฒนาวิธีการใหม่ในการแสดงความรู้โดยใช้ช่องว่างเวกเตอร์ เราเรียกมันว่า Quantum Embedding เนื่องจากเทคนิคนี้ใช้ไม่ได้กับการทำงานของคอมพิวเตอร์ควอนตัม ได้แรงบันดาลใจจากทฤษฎีควอนตัมลอจิก การฝังควอนตัมคง “โครงสร้างเชิงตรรกะ” ของฐานความรู้เชิงสัญลักษณ์ (KB) ที่กำหนดในการฝังพื้นที่เวกเตอร์ นอกจากนี้ยังอนุญาตให้ประยุกต์ใช้การดำเนินการทางตรรกะแบบบูลีนโดยตรง คล้ายกับวิธีดำเนินการบนการแสดงสัญลักษณ์ของ KB อย่างหมดจด
ผลลัพธ์เบื้องต้นของเราแสดงให้เห็นว่าการให้เหตุผลเชิงสัญลักษณ์ย่อย (เช่น ประสาท) สามารถได้รับประโยชน์อย่างมากจากการใช้ Quantum Embeddings เหล่านี้ เราพบว่ามีการปรับปรุงความแม่นยำอย่างมีนัยสำคัญเหนือข้อมูลพื้นฐาน SRL ที่ได้รับความนิยมในงานตอบคำถามที่เกี่ยวข้องกับคำถามการให้เหตุผลเชิงตรรกะที่ซับซ้อนตามการเป็นสมาชิก รายละเอียดของงานนี้มีอยู่ในบทความเรื่อง “ การฝังความรู้เชิงควอนตัมเพื่อการให้เหตุผล ”
แนวคิดหลักเบื้องหลังการฝังควอนตัม
แสดงแนวคิดหลักเบื้องหลังการฝังควอนตัม ตัวอย่างความรู้ทางซ้ายมือ ในรูปแบบของ unary predicate (แนวคิด) ลำดับชั้น ถูกฝังอยู่ในช่องว่างเวกเตอร์มิติdทางด้านขวามือ โหนดรูปวงรีสีแดงแต่ละอันสอดคล้องกับแนวคิด (เช่น วิชาชีพแพทย์) และโหนดวงกลมสีน้ำเงินแต่ละโหนดสอดคล้องกับเอนทิตี (เช่น ปัจเจก) การฝังควอนตัมจะจับคู่เอนทิตีและโหนดแนวคิดกับเวกเตอร์ในR dตามลำดับ ในรูปที่ 1 ใช้ช่องว่างสามมิติ ( d =3) เพื่อภาพประกอบ เราสร้างการฝังควอนตัมนี้ในลักษณะที่สอดคล้องกับสัจพจน์เชิงตรรกะของควอนตัมดังที่เราสรุปต่อไป
สัจพจน์ของควอนตัมลอจิก
Quantum Logic (QL) ถูกเสนอครั้งแรกโดย Birkhoff และ Von Neumann [4] เพื่อจำลองพฤติกรรมควอนตัมของอนุภาคย่อย เราใช้ประโยชน์จากการเปรียบเทียบระหว่างกลศาสตร์ควอนตัมและความรู้เพื่อจุดประสงค์ในการสร้างการฝังที่คงโครงสร้างเชิงตรรกะไว้ ในการเปรียบเทียบนี้อนุภาคมีความคล้ายคลึงกับหน่วยงาน , ควอนตัมรัฐคลาสสิกที่มีความคล้ายคลึงกับคุณลักษณะแฝงและสมมติฐานการทดลองคือคล้ายกับคำกริยา การเปรียบเทียบดังกล่าวแสดงให้เห็นว่า:
แต่ละคำกริยา (เอกหรือไบนารี) ควรจะแสดงโดยสเปซเชิงเส้นของ (จริงหรือซับซ้อน) ปริภูมิเวกเตอร์Σที่ Σ = R d (หรือC D ) สำหรับบางจำนวนเต็มd
เอนทิตีทั้งหมด (หรือคู่ของเอนทิตี) ควรแสดงด้วยเวกเตอร์ (ซับซ้อน) ในลักษณะที่พวกมันอยู่ในแต่ละพื้นที่ย่อยของเพรดิเคตที่พวกมันอยู่ (รูปที่ 1 แสดงแนวคิดนี้) แกนของพื้นที่ฝัง Σแสดงถึงแอตทริบิวต์ความหมายแฝงของเอนทิตีและคู่ของเอนทิตี
แต่ละเพรดิเคตควรถูกแม็พกับสเปซย่อยเชิงเส้นเฉพาะของพื้นที่ฝังΣ ในลักษณะที่ความสัมพันธ์เชิงตรรกะของมันกับเพรดิเคตและเอนทิตีอื่นๆ
การรักษาความหมายเชิงตรรกะ (⇒)
ลองพิจารณาแพทย์แนวคิดที่แสดงในรูปที่ 1 หมายเหตุทั้งโรคปอดและโรคหัวใจแนวคิดจะเชื่อมโยงกับแพทย์แนวคิด – แต่ละของพวกเขาหมายถึงการแพทย์ ซึ่งหมายความว่าซับสเปซที่สอดคล้องกับแนวคิดของแพทย์จะต้องครอบคลุม (ในทางทฤษฎี) ซับสเปซที่สอดคล้องกับแต่ละแนวคิดของแพทย์ระบบทางเดินหายใจและโรคหัวใจ โดยทั่วไป สำหรับสองแนวคิดC 1และC 2โดยที่C 1 ⇒ C 2ไดอะแกรมด้านล่างแสดงสภาพที่เรขาคณิตของสเปซย่อยตามลำดับต้องเป็นไปตามพื้นที่ฝังเพื่อรักษาความหมายเชิงตรรกะดังกล่าว
การรักษาตรรกะและ
สมมติว่ามีสามแนวคิดซี1 ซี2 และC 3 สมมติว่าได้รับใน KB ที่C 3 = ( C 1และC 2 ) จากนั้นสเปซที่สอดคล้องกับC 3 จะต้องได้รับโดยแยกตามทฤษฎีชุดของ subspaces สำหรับC 1เช่นเดียวกับซี 2 นี่คือภาพประกอบด้านล่าง โดยที่เมื่อพิจารณาจากสเปซย่อยของC 1และC 2แล้ว สเปซย่อยของC 3 จะถูกกำหนดโดยอัตโนมัติ

สล็อตออนไลน์

รักษาตรรกะOR
ถ้าC 3 = C 1หรือC 2แผนภาพด้านล่างแสดงเงื่อนไขที่จำเป็นเพื่อให้เป็นไปตามสเปซย่อยที่เกี่ยวข้อง
โปรแกรมเพิ่มประสิทธิภาพสำหรับการสร้างการฝังควอนตัม
สำหรับ KB ที่กำหนด และพื้นที่ฝังเป้าหมาย Σ = R dเราสามารถแสดงข้อจำกัดทางควอนตัมลอจิคัลข้างต้นแต่ละข้อในรูปแบบของฟังก์ชันการสูญเสียที่เหมาะสม การรวมการสูญเสียเหล่านี้ส่งผลให้เกิดโปรแกรมการเพิ่มประสิทธิภาพแบบผสมผสานซึ่งโซลูชันให้ผลลัพธ์การฝังควอนตัมที่ต้องการ รายละเอียดของโปรแกรมนี้สามารถพบได้ในของเรากระดาษ เราเรียกโปรแกรมทั้งหมดนี้เป็น(E2R) ฝังเพื่อเหตุผลวิธี
วิธีตอบคำถามโดยใช้ Quantum Embedding
สมมติว่าคุณได้คำนวณ Quantum Embedding ของ KB สัญลักษณ์ที่กำหนด คำถามทันทีคือ: “ฉันจะทำงานกับมันได้อย่างไร” แม้ว่าการบังคับใช้การฝังควอนตัมจะค่อนข้างกว้าง แต่เราเน้นงานการให้เหตุผลตามการสืบค้นสมาชิกแบบง่ายๆ ที่เราคิดว่ามีความสำคัญและเพียงพอที่จะเข้าใจการใช้ Quantum Embeddings แบบสอบถามสมาชิกทั่วไปเกี่ยวกับ KB คือ: “ค้นหาเอนทิตีทั้งหมดที่เป็นแนวคิด ซึ่ง อาจเป็นสูตรตรรกะที่ซับซ้อนที่กำหนด”
เพื่อที่จะตอบแบบสอบถามดังกล่าวเราแปลงสูตรเป็นสเปซที่เหมาะสมของพื้นที่ฝังควอนตัมΣ ต่อไป เราพบเวกเตอร์เอนทิตีทั้งหมดที่มีความยาวของการฉายภาพมุมฉากบนสเปซย่อยSมากกว่าขีดจำกัด τ ความยาวของเส้นโครงใช้เพื่อกำหนดคะแนนความเชื่อมั่น/ความน่าจะเป็น (อีกครั้งโดยเปรียบเทียบจากทฤษฎีควอนตัมลอจิก) ของเอนทิตีที่เป็นสมาชิกของชุดคำตอบที่ถูกต้องของแบบสอบถาม
ประสิทธิภาพของการฝังควอนตัม
เราจะประเมินประสิทธิภาพการทำงานของโปรแกรม E2R สองชนิดที่แตกต่างของงาน (ฉัน) – การคาดการณ์การเชื่อมโยงและ (ii) การให้เหตุผล สำหรับการคาดการณ์การเชื่อมโยงเราประเมินในFB15KและWN18ชุดข้อมูลโดยใช้รถไฟและทดสอบมาตรฐานพาร์ทิชัน [5,6, 7] ในการประเมินความสามารถในการให้เหตุผล เราใช้ชุดข้อมูล LUBM (เกณฑ์มาตรฐานมหาวิทยาลัย Lehigh)ซึ่งประกอบด้วยภววิทยาโดเมนของมหาวิทยาลัย ข้อมูลสังเคราะห์ที่ปรับแต่งได้และทำซ้ำได้ เราสร้างข้อมูลมหาวิทยาลัยหนึ่งแห่ง (LUBM1U) เป็นชุดการฝึกอบรมของเรา และประกอบด้วย 69,628 triples พร้อมกับ ontology ในรูปแบบสามส่วน (unary และ binary predicates) เราออกแบบคำค้นหาทดสอบแปดคำที่ประกอบด้วยภาคแสดงระดับที่สูงกว่าในลำดับชั้น LUBM1U เพื่อให้การตอบคำถามดังกล่าวต้องใช้เหตุผลแบบนิรนัยอย่างชัดเจน
เราใช้ TransE [5] และ ComplEx [7] เป็นข้อมูลพื้นฐานเพื่อเปรียบเทียบประสิทธิภาพของวิธีการของเรา ตารางที่ 1 แสดงผลการทดลอง ซึ่งเราได้เน้นตัวเลขที่สะท้อนถึงประสิทธิภาพที่สูงขึ้นของ Quantum Embedding (แสดงอยู่ในตารางเป็น E2R สำหรับการฝังตัวต่อเหตุผล)

jumboslot

เมธอด E2R ที่ใช้ Quantum Embedding มีประสิทธิภาพดีกว่าเมตริกทั้ง TransE และ ComplEx บนMRRและHITS@1สำหรับงานและชุดข้อมูลทั้งหมด ยกเว้น WN18 ที่น่าสนใจคือ Quantum Embedding ปรับปรุงความแม่นยำเหนือเส้นพื้นฐานสำหรับการคาดการณ์ลิงก์ในชุดข้อมูล FB15k เช่นเดียวกับชุดข้อมูล LUBM1U สำหรับงานให้เหตุผล WN18 คือชุดของความสัมพันธ์แบบไบนารี ซึ่งความสัมพันธ์เหล่านี้ส่วนใหญ่เป็นไปตามคุณสมบัติการถ่ายทอด (เช่น hypernym) และมีความสัมพันธ์แบบผกผัน (เช่น hypernym/hyponym) วิธีการพื้นฐาน ซึ่งโดยหลัก ๆ ตามระยะทาง ดูเหมือนจะจับคุณสมบัติการถ่ายทอด/การผกผันได้ดีกว่าการฝังควอนตัม ซึ่งไม่ได้อิงตามระยะทาง ซึ่งจะให้แนวทางในอนาคตในการสำรวจผลงานของเรา
สรุปข้อสังเกต
การฝังควอนตัมเป็นวิธีใหม่ในการแสดงความรู้ในคอมพิวเตอร์คลาสสิก (ไม่ใช่ควอนตัม) มันแสดงถึงความรู้เชิงสัญลักษณ์ในพื้นที่เวกเตอร์ที่รักษาโครงสร้างของข้อเสนอเชิงตรรกะ แนวคิดนี้ได้รับแรงบันดาลใจจากสัจพจน์ของควอนตัมลอจิก ข้อได้เปรียบที่สำคัญคือการตอบคำถามการให้เหตุผลที่ซับซ้อนอย่างถูกต้อง (ทั้งแบบนิรนัยและเชิงคาดการณ์) โดยใช้การนำเสนอแบบกระจายของฐานความรู้ (KB) ผลการทดลองแสดงให้เห็นประสิทธิภาพที่สูงขึ้นเมื่อเทียบกับวิธีการพื้นฐาน ทิศทางในอนาคตรวมถึงการขยายไปสู่การดำเนินการเชิงตรรกะที่แสดงออกมากขึ้น ตลอดจนถึง KB ที่ใช้ภาษาธรรมชาติ รายละเอียดเพิ่มเติมมีอยู่ในของเรากระดาษ
ECRAM ที่ใช้โลหะออกไซด์และเข้ากันได้กับ CMOS สำหรับ Deep Learning Accelerator
โดย Seyoung Kim et al. (IEDM)
ฮาร์ดแวร์มีข้อกำหนดที่แตกต่างกันมากสำหรับการอนุมานและการฝึกอบรม DNN อุปสรรคสำคัญประการหนึ่งในการฝึกความแม่นยำสูงโดยใช้ฮาร์ดแวร์แอนะล็อกคือความจำเป็นในการเปลี่ยนค่าการนำไฟฟ้าของอุปกรณ์ที่สมมาตรระหว่างขั้นตอนการอัพเดตน้ำหนัก ควบคู่ไปกับการขยายพันธุ์ไปข้างหน้าและข้างหลังเป็นสามขั้นตอนที่สำคัญของอัลกอริทึมที่เป็นหัวใจของ DNN สมัยใหม่ ECRAM ที่ใช้โลหะออกไซด์และเข้ากันได้กับ CMOS สำหรับ Deep Learning Acceleratorนำเสนอหน่วยความจำแบบไม่ลบเลือนที่เป็นนวัตกรรมใหม่ที่เรียกว่าหน่วยความจำสุ่มเข้าถึงด้วยไฟฟ้าเคมีหรือ ECRAM ECRAM แสดงให้เห็นถึงความเร็วในการตั้งโปรแกรมย่อยไมโครวินาที การเปลี่ยนแปลงเชิงเส้นและความสมมาตรของสื่อนำไฟฟ้าสูง และการกำหนดค่าอาร์เรย์ 2 × 2 โดยไม่มีตัวเลือกการเข้าถึง อุปกรณ์ ECRAM ที่ประดิษฐ์ขึ้นเป็นครั้งแรกโดยใช้วัสดุที่เข้ากันได้กับ CMOS มีการตอบสนองการนำไฟฟ้าแบบสมมาตรต่อพัลส์ไฟฟ้านับพัน และเปิดใช้งานฮาร์ดแวร์สาธิตการถดถอยเชิงเส้นโดยใช้อัลกอริธึมการไล่ระดับสีสุ่ม ซึ่งเป็นส่วนประกอบสำคัญสำหรับการฝึกอบรม DNN
[NPC5]On-Chip Trainable 1.4M 6T2R PCM Synaptic Array พร้อมเซลล์ประสาท Stochastic LIF 1.6K สำหรับ Spiking RBM
B y M. Ishii et al. (IEDM)
อีกวิธีหนึ่งในการต่อต้านอุปกรณ์ที่ไม่อยู่ในอุดมคติและเพื่อลดการใช้พลังงานคือการใช้โครงข่ายประสาทเทียม ดังนั้นการเข้ารหัสข้อมูลในจุดแหลมและการเขียนโปรแกรมตุ้มน้ำหนักโดยใช้อัลกอริธึมที่ได้รับแรงบันดาลใจจากสมอง เช่น การปั้นขึ้นอยู่กับจังหวะเวลาการขัดขวาง หรือ STDP On-Chip Trainable 1.4M 6T2R PCM Synaptic Array พร้อม 1.6K Stochastic LIF Neurons for Spiking RBMสาธิตการใช้งานฮาร์ดแวร์อย่างเต็มรูปแบบของเครื่อง Boltzmann แบบจำกัดที่สามารถทำการฝึกอบรมและการอนุมานในชุดข้อมูล MNIST