การวิเคราะห์เชิงลึกของกล้องส่องทางไกล Yinglongxin 2UK2 ที่มีช่วงไดนามิกกว้าง

พูดง่ายๆ มันประกอบด้วยกล้องสองตัว โดยทั่วไปจะห่างกันครึ่งระยะทางระหว่างดวงตาของมนุษย์ เพื่อจำลองการมองเห็นของมนุษย์ โดยการจับภาพจากมุมมองที่แตกต่างกันสองมุมพร้อมกันและใช้อัลกอริธึมในการรวมภาพเหล่านั้นเป็นภาพเดียวที่มีข้อมูลความลึกและสี ทำให้ได้เอฟเฟกต์ภาพ 3D ที่สมจริงมากขึ้น

ในสาขาต่าง ๆ เช่น การมองเห็นของเครื่องจักร การรู้จำอัจฉริยะ และการรับรู้เชิงพื้นที่ กล้องสองตา ซึ่งมีความสามารถในการจำลองภาพสเตอริโอเหมือนกับดวงตาของมนุษย์ ได้กลายเป็นอุปกรณ์หลักในการเก็บข้อมูลเชิงพื้นที่ 3D โมดูลกล้องสองตา Yinglongxin Intelligent 2UK2 มีการรวมการถ่ายภาพความละเอียดสูง 2 เมกะพิกเซล ช่วงไดนามิกกว้าง 90dB ไจโรสโคปสามแกน ไมโครโฟนซิลิคอนคู่ และฟังก์ชันอื่น ๆ ผ่านการทำงานร่วมกันของฮาร์ดแวร์และการปรับแต่งอัลกอริธึม ทำให้สามารถรับรู้ได้อย่างแม่นยำสูงและมีการส่งออกที่เสถียรในสถานการณ์ที่ซับซ้อน บทความนี้จะวิเคราะห์โมดูลนี้อย่างเป็นระบบจากสองด้าน: หลักการทำงานและคุณสมบัติทางเทคนิค

2UK2 ใช้เทคโนโลยีการมองเห็นแบบกล้องสองตาแบบพาสซีฟ หลักการพื้นฐานของมันจำลองกลไกการวัดระยะทางแบบพารัลแลกซ์ของมนุษย์ โดยการจับภาพฉากพร้อมกันผ่านกล้องคู่และคำนวณข้อมูลความลึกของพื้นที่ ฐานฮาร์ดแวร์ประกอบด้วยเซ็นเซอร์ 2 ตัว ความละเอียด 2 เมกะพิกเซล ที่มีระยะห่างแนวนอนคงที่ (ระยะฐาน) กล้องทั้งสองตัวจับภาพฉากเดียวกันจากมุมมองที่แตกต่างกันพร้อมกัน สร้างภาพความละเอียด 1920×1080 สองภาพ (ช่องซ้ายและขวา) ซึ่งจะถูกเย็บเข้าด้วยกันในแนวนอนเพื่อส่งออกสตรีมวิดีโอรวมที่ความละเอียด 3840×1080@30FPS

การคำนวณความลึกมีแกนหลักอยู่ที่การคำนวณพารัลแลกซ์และการสร้างรูปสามเหลี่ยม: ระบบใช้อัลกอริธึมการจับคู่จุดคุณลักษณะเพื่อตรวจหาตำแหน่งพิกเซลของวัตถุที่สอดคล้องกันในภาพซ้ายและขวา โดยคำนวณความแตกต่างระหว่างพวกมัน—การเลื่อนพิกเซลของวัตถุเดียวกันในภาพซ้ายและขวา เมื่อนำพารามิเตอร์ที่ทราบ เช่น ระยะห่างของกล้องคู่และความยาวโฟกัสของเลนส์ มารวมกัน ระบบจะใช้สูตรการสร้างรูปสามเหลี่ยมเพื่อลดทอนพิกัด 3D ของวัตถุ ความแตกต่างมีความสัมพันธ์ผกผันกับระยะทาง; ยิ่งระยะทางใกล้ ความแตกต่างก็ยิ่งมากขึ้น การรวมกับความละเอียดระดับสูง 2 เมกะพิกเซล จะสามารถบรรลุความแม่นยำในการกำหนดตำแหน่งความลึกในระดับมิลลิเมตร ในขณะเดียวกัน อัตราเฟรม 30FPS จะช่วยให้การอัปเดตข้อมูลความลึกเป็นไปแบบเรียลไทม์ ตอบสนองความต้องการในการรับรู้ในฉากที่มีการเคลื่อนไหว

เทคโนโลยี Wide Dynamic Range (WDR) มีเป้าหมายเพื่อแก้ไขปัญหาภาพบิดเบี้ยวในฉากที่มีทั้งแสงจ้าและแสงน้อย ช่วงไดนามิก 90dB หมายความว่ากล้องสามารถรับรู้ความแตกต่างของแสงระหว่างบริเวณที่สว่างที่สุดและมืดที่สุดได้ถึง 3162:1 (dB = 20log(ความสว่างสูงสุด/ความสว่างต่ำสุด)) ซึ่งเกินกว่าช่วงการมองเห็นของมนุษย์ทั่วไปอย่างมาก 2UK20 ใช้เทคโนโลยีการรวมภาพหลายเฟรมที่ระดับเซ็นเซอร์ ซึ่งจัดอยู่ในประเภทของ True Wide Dynamic Range ซึ่งแตกต่างจากการปรับปรุงด้วยการประมวลผลซอฟต์แวร์ของ Digital Wide Dynamic Range แบบดั้งเดิม

ขั้นตอนการทำงานมีดังนี้: เซ็นเซอร์จะทำการเก็บภาพสองภาพ (หรือมากกว่า) ที่มีค่าแสงต่างกันอย่างรวดเร็วสำหรับฉากเดียวกัน ภาพหนึ่งจะใช้ค่าแสงน้อยเพื่อเก็บรายละเอียดในบริเวณที่สว่าง หลีกเลี่ยงการโอเวอร์เอ็กซ์โพส (overexposure) อีกภาพหนึ่งจะใช้ค่าแสงมากเพื่อกู้คืนข้อมูลในบริเวณที่มืด ชดเชยการอันเดอร์เอ็กซ์โพส (underexposure) ผ่านอัลกอริทึมการหลอมรวมระดับพิกเซลของชิป DSP ข้อมูลพิกเซลที่มีประสิทธิภาพจากทั้งสองภาพจะถูกดึงออกมา และพิกเซลที่ผิดเพี้ยนในบริเวณที่โอเวอร์เอ็กซ์โพสและอันเดอร์เอ็กซ์โพสจะถูกลบออก สุดท้ายจึงสังเคราะห์ภาพที่มีรายละเอียดชัดเจนทั้งในบริเวณที่สว่างและมืด สามารถปรับใช้ได้กับสภาพแสงที่ซับซ้อน เช่น แสงย้อน, แสงจ้าโดยตรง และเงาที่เหลื่อมกัน

โมดูลที่มีจอยโรสโคปสามแกนในตัว (IMU) สามารถรับข้อมูลความเร็วเชิงมุมและข้อมูลการเร่งเชิงเส้นของอุปกรณ์ได้ที่ความถี่สูง ซึ่งสูงกว่าความถี่เฟรมที่มองเห็นได้อย่างมาก ฟังก์ชันหลักของมันคือการชดเชยข้อบกพร่องของการมองเห็นแบบสองตาในฉากที่มีการเคลื่อนไหว ระบบการมองเห็นแบบสองตามักประสบปัญหา เช่น ความล้มเหลวในการจับคู่จุดคุณลักษณะและช่องว่างในการคำนวณความลึกเมื่อเคลื่อนที่อย่างรวดเร็ว พบกับพื้นผิวฉากที่หายไป หรือประสบกับการอุดตันชั่วคราว จอยโรสโคปสามารถส่งออกข้อมูลการเปลี่ยนแปลงท่าทางของอุปกรณ์แบบเรียลไทม์ ทำให้สามารถชดเชยร่วมกันระหว่าง "การมองเห็น + แรงเฉื่อย" ได้

ผ่านอัลกอริธึมการรวมข้อมูล ข้อมูลทิศทางของจานหมุนสามารถคาดการณ์การเปลี่ยนตำแหน่งของเฟรมถัดไป ช่วยให้ระบบกล้องสองตาสามารถล็อกจุดคุณลักษณะได้อย่างรวดเร็วและแก้ไขข้อผิดพลาดในการถ่ายภาพที่เกิดจากการเบลอจากการเคลื่อนไหว ในขณะเดียวกัน เมื่อข้อมูลภาพหายไปชั่วขณะ ข้อมูลจากจานหมุนจะรักษาการประเมินท่าทางของอุปกรณ์ไว้หลีกเลี่ยงการหยุดชะงักในการคำนวณความลึก สถาปัตยกรรมการรวมนี้สร้างข้อได้เปรียบเสริมของ "การปรับเทียบภาพของการลอยตัวเชิงมุม และการชดเชยเชิงมุมของจุดบอดภาพ" ซึ่งช่วยปรับปรุงความเสถียรในการรับรู้ในฉากที่มีการเคลื่อนไหว.

ไมโครโฟนซิลิคอนคู่ในตัวมีการจัดเรียงแบบอาร์เรย์ โดยอิงจากเทคโนโลยีการสร้างลำแสงเพื่อให้สามารถรับเสียงในทิศทางที่ต้องการและลดเสียงรบกวน ไมโครโฟนทั้งสองตัวจะรับสัญญาณเสียงพร้อมกัน และอัลกอริธึมจะคำนวณความแตกต่างของเฟสและเวลา ระหว่างสัญญาณทั้งสองเพื่อหาทิศทางของแหล่งเสียงอย่างแม่นยำ ในขณะเดียวกันจะมีการยกเลิกเฟสของเสียงรบกวนรอบข้าง—ลดเสียงรบกวนจากทิศทางที่ไม่ต้องการ (เช่น เสียงลมและเสียงพื้นหลัง) ผ่านการกลับสัญญาณและการซ้อนทับ ในขณะที่เพิ่มเสียงจากแหล่งเสียงที่ต้องการ

การรับสัญญาณเสียงและการสร้างภาพวิดีโอจะสร้างสตรีมข้อมูลภาพและเสียงที่ซิงโครไนซ์กัน การปรับเทียบเวลาในระดับฮาร์ดแวร์ช่วยให้มั่นใจได้ถึงการจัดตำแหน่งเฟรมเสียงและภาพที่แม่นยำ ซึ่งเป็นการสนับสนุนพื้นฐานสำหรับการวิเคราะห์การหลอมรวมภาพและเสียง (เช่น การอ่านริมฝีปาก การระบุตำแหน่งแหล่งกำเนิดเสียง และการซิงโครไนซ์ภาพ) หลีกเลี่ยงปัญหาความล่าช้าในการซิงโครไนซ์ของอุปกรณ์ภาพและเสียงแบบแยกส่วนแบบดั้งเดิม

โมดูลนี้ติดตั้งเซ็นเซอร์ CMOS ขนาด 2 เมกะพิกเซลแบบคู่ ซึ่งสามารถส่งออกภาพความละเอียด 1920×1080 ต่อช่องทาง การเย็บภาพในแนวนอนสร้างภาพที่กว้างพิเศษขนาด 3840×1080 โดยมีความหนาแน่นของพิกเซลเพียงพอสำหรับการจับรายละเอียดของเป้าหมายขนาดเล็ก เซ็นเซอร์ใช้ขนาดเซ็นเซอร์ 1/2.9 นิ้ว โดยมีขนาดพิกเซล 2.8µm ร่วมกับวงจรรับแสงที่ได้รับการปรับแต่ง อัตราส่วนสัญญาณต่อเสียงรบกวนจะสูงถึง 38dB ในสภาพแสงน้อย โดยรักษาความชัดเจนของภาพและลดการรบกวนจากเสียงรบกวนแม้ในสภาพแสงน้อย

อัตราเฟรม 30FPS ที่เสถียรตอบสนองความต้องการของฉากที่มีการเคลื่อนไหวทั่วไปได้อย่างเต็มที่ เทคโนโลยีการซิงโครไนซ์เฟรมระดับฮาร์ดแวร์ช่วยให้มั่นใจได้ว่าความผิดพลาดด้านเวลาในการจับภาพจากกล้องคู่จะถูกควบคุมให้อยู่ในระดับไมโครวินาที หลีกเลี่ยงการเบี่ยงเบนในการคำนวณพารัลแลกซ์ที่เกิดจากการไม่ซิงโครไนซ์ของเฟรม ซึ่งให้การรับประกันพื้นฐานสำหรับความแม่นยำในการวัดความลึก นอกจากนี้ยังรองรับการส่งออกในรูปแบบ RAW ที่ไม่มีการสูญเสีย ซึ่งช่วยรักษารายละเอียดของภาพได้มากขึ้นและสำรองพื้นที่สำหรับการปรับแต่งอัลกอริธึมในเบื้องหลัง。

ช่วงไดนามิกกว้าง 90dB อยู่ในระดับกลางสำหรับการใช้งานในอุตสาหกรรม ด้วยการใช้เทคโนโลยีการเปิดรับแสงหลายเฟรมของเซ็นเซอร์ ทำให้ได้ภาพที่มีความเที่ยงตรงสูงและการเก็บรายละเอียดที่ดีกว่าเมื่อเทียบกับเทคโนโลยีดิจิทัลแบบไดนามิกกว้าง (dWDR) โดยไม่มีการเพิ่มความคมชัดหรือการบิดเบือนสีที่มากเกินไป ในสถานการณ์ที่มีแสงจ้าและแสงย้อน เช่น การควบคุมการเข้าออก การเฝ้าระวังภายนอกอาคาร และระบบการมองเห็นบนยานพาหนะ สามารถแสดงทั้งลักษณะใบหน้าและสภาพแวดล้อมเบื้องหลังได้อย่างชัดเจน หลีกเลี่ยงปัญหาของกล้องแบบดั้งเดิม เช่น "บริเวณที่สว่างจ้าเกินไปและบริเวณที่มืดเกินไป"

การทำงานร่วมกันอย่างลึกซึ้งระหว่างอัลกอริทึมช่วงไดนามิกกว้างและเซ็นเซอร์ ช่วยให้สามารถปรับค่าแสงอัตโนมัติ โดยปรับการผสมผสานระยะเวลาการรับแสงแบบไดนามิกตามความเข้มของแสงในฉาก สามารถปรับให้เข้ากับสภาพแสงที่หลากหลาย ตั้งแต่แสงแดดจ้า (เช่น แสงแดดตอนกลางวัน) ไปจนถึงสภาพแสงน้อย (เช่น ในอาคารตอนกลางคืน) โดยให้ภาพที่คมชัดอย่างเสถียรโดยไม่ต้องมีการแทรกแซงด้วยตนเอง

การนำไจโรสโคปแบบสามแกนมาใช้ช่วยให้โมดูลสามารถรับรู้ท่าทางการเคลื่อนไหว ทำให้สามารถตรวจสอบการเคลื่อนไหวแบบ pitch, roll และ yaw ของอุปกรณ์ได้แบบเรียลไทม์ โดยมีความถี่ในการสุ่มตัวอย่างสูงถึงระดับกิโลเฮิรตซ์ ในการใช้งานแบบไดนามิก เช่น หุ่นยนต์เคลื่อนที่ อุปกรณ์มือถือ และสถานการณ์ที่ติดตั้งบนยานพาหนะ สามารถชดเชยการเบลอของภาพที่เกิดจากการสั่นของอุปกรณ์ได้อย่างมีประสิทธิภาพ ช่วยให้ระบบตาคู่สามารถติดตามเป้าหมายที่เคลื่อนไหวและวัดระยะทางได้อย่างแม่นยำ

สถาปัตยกรรมการผสานรวมนี้ใช้กลไกการประมวลผลสี่ระดับ: ชั้นเซ็นเซอร์ - ชั้นประมวลผลเบื้องต้น - ชั้นผสานรวม - ชั้นปรับปรุงประสิทธิภาพ ข้อมูลไจโรสโคปถูกใช้เพื่อปรับเทียบข้อมูลภาพแบบเรียลไทม์ แก้ไขข้อผิดพลาดการเคลื่อนไหวในการคำนวณความเหลื่อมล้ำ (parallax) สิ่งนี้ทำให้มั่นใจได้ว่าการลดทอนความแม่นยำในการวัดความลึกจะถูกควบคุมให้อยู่ภายใน 5% แม้ในสภาพแวดล้อมที่มีการเคลื่อนไหวเร็วหรือมีการสั่นสะเทือน ซึ่งมีประสิทธิภาพเหนือกว่าระบบการมองเห็นแบบตาคู่ล้วนๆ อย่างมาก

โมดูลมาพร้อมกับเลนส์มุมกว้าง 90° เริ่มต้น ซึ่งตอบสนองความต้องการในการครอบคลุมมุมมองของสถานการณ์ทั่วไปส่วนใหญ่ นอกจากนี้ยังมีการเลือกเลนส์เสริมที่หลากหลาย ครอบคลุมมุมมองที่แตกต่างกันและระดับการควบคุมการบิดเบือน ปรับให้เข้ากับสถานการณ์การใช้งานที่หลากหลาย เลนส์ซีรีส์ที่ปราศจากการบิดเบือน (45°, 60°, 89°, 100°) ใช้การออกแบบออปติกที่มีการบิดเบือนต่ำ โดยมีอัตราการบิดเบือนควบคุมอย่างเข้มงวดไม่เกิน 0.5% เพื่อรักษาความสมบูรณ์ทางเรขาคณิตของภาพให้มากที่สุด ทำให้เหมาะสำหรับสถานการณ์ที่ไวต่อการบิดเบือนของภาพ เช่น การวัดด้วยวิสัยทัศน์ของเครื่องจักรและการจดจำใบหน้าความแม่นยำสูง เลนส์ไมโครบิดเบือน 120° ลดการบิดเบือนในขณะที่ยังคงมุมมองกว้างไว้ได้ ทำให้มีความสมดุลระหว่างการครอบคลุมฉากและความแม่นยำในการถ่ายภาพ ทำให้เหมาะสำหรับการรับรู้แบบพาโนรามาในพื้นที่ขนาดกลางถึงใหญ่ เช่น หอแสดงสินค้าและห้องประชุม เลนส์มุมกว้าง 165° ช่วยให้สามารถจับภาพฉากขนาดใหญ่ได้ ปรับให้เข้ากับความต้องการในการตรวจสอบกลางแจ้งและการครอบคลุมสถานที่ขนาดใหญ่ เลนส์ทั่วโลก 220° ใช้โครงสร้างออปติกแบบฟิชอาย ทำให้สามารถจับภาพพาโนรามาได้ใกล้จุดบอด โดยรวมกับอัลกอริธึมการเย็บภาพด้วย AI สามารถครอบคลุมมุมมองทั้งหมดในพื้นที่ปิด เหมาะสำหรับสถานการณ์ VR การตรวจสอบห้องเซิร์ฟเวอร์ขนาดเล็ก และสถานการณ์พิเศษอื่นๆ

เลนส์ทั้งหมดใช้มาตรฐาน M12 ในการเชื่อมต่อ ซึ่งมีการติดตั้งและถอดออกที่สะดวกและมีความเข้ากันได้สูง นอกจากนี้ยังรองรับฟิลเตอร์แคบที่เลือกได้ เช่น ฟิลเตอร์อินฟราเรด 850nm ซึ่งขยายความสามารถในการถ่ายภาพอินฟราเรดและปรับให้เข้ากับสถานการณ์ที่มีแสงน้อย เช่น การจดจำใบหน้าตอนกลางคืน ขอบคุณสำหรับแผนการปรับแสงที่เป็นเอกภาพ ไม่ว่าจะใช้เลนส์ใด ระดับการบิดเบือนต่ำกว่า 0.5% สามารถรักษาไว้ได้ ซึ่งช่วยลดผลกระทบของการบิดเบือนทางเรขาคณิตของภาพต่อการคำนวณพารัลแลกซ์แบบสองตาและการวัดความลึกได้อย่างมีประสิทธิภาพ ซึ่งทำให้มั่นใจได้ว่าความแม่นยำในการรับรู้จะสอดคล้องกันในทุกการกำหนดค่าของเลนส์ โดยให้พื้นฐานภาพที่มั่นคงสำหรับการปรับแต่งอัลกอริธึมในส่วนหลัง

ไมโครโฟนซิลิคอนคู่ในตัวใช้โซลูชันลดเสียงรบกวนระดับอุตสาหกรรม เพิ่มประสิทธิภาพการลดเสียงรบกวนได้มากกว่า 40% เมื่อเทียบกับการบันทึกด้วยไมโครโฟนเดี่ยว ทำให้มีความแม่นยำในการจดจำเสียงมนุษย์มากกว่า 95% แม้ในสภาพแวดล้อมที่มีเสียงรบกวน 60 dB (เช่น โรงงานและสถานที่สาธารณะ) เทคโนโลยีการปรับอัตราขยายแบบไดนามิกจะปรับให้เข้ากับแหล่งกำเนิดเสียงที่มีระดับเสียงต่างกันโดยอัตโนมัติ หลีกเลี่ยงการบันทึกเสียงพูดเบาๆ ที่ไม่ชัดเจนและการบิดเบือนจากเสียงพูดดัง

การซิงโครไนซ์ภาพและเสียงใช้การปรับเทียบเวลาด้วยฮาร์ดแวร์ โดยควบคุมความหน่วงให้อยู่ภายใน 10ms ทำให้สามารถระบุตำแหน่งแหล่งกำเนิดเสียงและเชื่อมโยงภาพได้ หลังจากระบุตำแหน่งแหล่งกำเนิดเสียงผ่านความแตกต่างของเฟสเสียงแล้ว จะเชื่อมโยงกับการมองเห็นแบบสองตาเพื่อโฟกัสไปยังพื้นที่เป้าหมาย เหมาะสำหรับสถานการณ์ที่ต้องการการวิเคราะห์ภาพและเสียงร่วมกัน เช่น การเฝ้าระวังอัจฉริยะและการโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์

โมดูล Yinglongxin 2UK2 ซึ่งมีช่วงไดนามิกกว้าง ความแม่นยำสูงในการรับรู้ความลึก และฟีเจอร์การทำงานร่วมกันด้านเสียงและภาพ มีความสามารถในการปรับตัวได้อย่างกว้างขวางในหลายสาขา เช่น ระบบควบคุมการเข้าถึงและการลงเวลา ระบบหุ่นยนต์อัจฉริยะ การมองเห็นของรถยนต์ และการตรวจสอบความปลอดภัย ในสถานการณ์การควบคุมการเข้าถึง การรวมกันของช่วงไดนามิกกว้างและเลนส์อินฟราเรดสามารถแก้ปัญหาความท้าทายในการจดจำใบหน้าในแสงย้อนและในเวลากลางคืน; ในด้านหุ่นยนต์เคลื่อนที่ การรวมกันของจานหมุนและกล้องสองตาสามารถปรับปรุงความแม่นยำในการนำทางและการหลบหลีกอุปสรรค; ในสถานการณ์ของรถยนต์ การถ่ายภาพแบบ ultra-wide และการชดเชยแบบไดนามิกสามารถทำให้ฟังก์ชันต่างๆ เช่น การจดจำเส้นเลนและการวัดระยะห่างของอุปสรรคเป็นไปได้

คุณค่าหลักของโมดูลนี้อยู่ที่การก้าวข้ามข้อจำกัดของแอปพลิเคชันของอุปกรณ์มองเห็นหรือเสียงเพียงอย่างเดียว ผ่านการรวมฟังก์ชันฮาร์ดแวร์และการปรับอัลกอริทึมให้เหมาะสมร่วมกัน ด้วยความสามารถที่ครอบคลุม "การถ่ายภาพความละเอียดสูง + การวัดระยะทางที่แม่นยำ + ท่าทางที่มั่นคง + การรับเสียงที่ชัดเจน" จึงตอบสนองความต้องการการรับรู้แบบอัจฉริยะในสถานการณ์ที่ซับซ้อน โดยเป็นโซลูชันการรับรู้พื้นฐานที่เชื่อถือได้สูงสำหรับอุปกรณ์ปลายทาง