Qualcomm ก้าวข้ามขอบเขตการถ่ายภาพด้วย Snapdragon 865 ได้อย่างไร

ผู้ผลิตภาพถ่ายไม่ใช่ราชาแห่งพิกเซลอีกต่อไป แชมป์ของภาพจะพบได้ในเซมิคอนดักเตอร์ และโดยเฉพาะอย่างยิ่งผู้เชี่ยวชาญด้านชิปสำหรับสมาร์ทโฟน
ที่ด้านบนสุดของตาราง ได้แก่ Apple, Huawei และ Samsung อื่นๆ ที่มีชื่อเสียงในด้านภาพถ่าย อย่างไรก็ตาม ไม่ใช่ผู้ผลิตโทรศัพท์รายใดที่สวมมงกุฎ "ราชา" แห่งการถ่ายภาพ แต่เป็นของ American Qualcomm Qualcomm แชมป์ด้านส่วนประกอบโทรคมนาคมและ 5G ยังเป็นที่ 1 ของโลกในด้าน SoC (ระบบบนชิป) สำหรับสมาร์ทโฟน ชิปออลอินวันเหล่านี้ซึ่งขับเคลื่อนเทอร์มินัล Android ส่วนใหญ่ของโลก

ความสามารถในการถ่ายภาพเป็นองค์ประกอบสำคัญสำหรับผู้บริโภคจำนวนมาก Qualcomm ซึ่งขายชิปให้กับทุกคน (Samsung, Xiaomi, Oppo, OnePlus ฯลฯ) ต้องตอบสนอง และด้วยการมาถึงของเซ็นเซอร์ที่มากกว่า 100 ล้านพิกเซลและการระเบิดของโมดูลกล้อง จึงจำเป็นต้องขยายขีดจำกัดปัจจุบันให้ดียิ่งขึ้น

ชิปกล้องที่ล้าหลัง

Snapdragon 865 ไม่เกินขีดจำกัดเหล่านี้: มันจะระเบิด ตัวประมวลผลภาพ (ISP) ที่เรียกว่า Spectra 480 เป็นปืนกลพิกเซลที่ให้ประสิทธิภาพ (ตามทฤษฎี) ในระดับที่ไม่เคยมีมาก่อน และสิ่งนี้ทั้งบนสมาร์ทโฟนและในโลกของการถ่ายภาพและวิดีโอของผู้บริโภค ตัดสินด้วยตัวคุณเอง: การจัดการวิดีโอ 8K ที่ 30 เฟรมต่อวินาทีสำหรับการเขียนและ 60 fps สำหรับการอ่าน วิดีโอ 4K ที่ 120 เฟรมต่อวินาที สูงสุด 2 พันล้านพิกเซล "สรุป" ต่อวินาที รองรับโมดูลกล้องสูงสุด 18 โมดูล (สองสีพร้อมกัน โมดูล) และสูงสุด 200 Mpix แต่ละรายการ เอกสารข้อมูลน่ากลัวมาก สำหรับการเปรียบเทียบ ลูกผสมฟูลเฟรมระดับมืออาชีพอย่าง Panasonic Lumix S1R สามารถถ่ายทำในรูปแบบ 4K ที่ 60 เฟรมต่อวินาที (ห้ามใช้ 8K) และ Alpha A9 ของ Sony จัดการ "เพียง" ครึ่งพันล้านเฟรมต่อวินาที

การเปรียบเทียบไม่ได้อยู่บนขอบเขตคงที่อย่างแน่นอน มีปัจจัยจำกัดอื่นๆ นอกเหนือจากโปรเซสเซอร์ในกล้องที่ควบคุมเซ็นเซอร์ที่มีขนาดใหญ่กว่าเซ็นเซอร์ของสมาร์ทโฟน แต่ความจริงก็ยังคงอยู่ว่าในสงครามแห่งตัวเลข สมาร์ทโฟนกำลังนำหน้ากล้องอยู่เหนือกว่ากล้องไปพอสมควร… หรือแม้แต่สองตัวด้วยซ้ำ โชคดีที่ฟิสิกส์ - ขนาดของเซ็นเซอร์ คุณภาพของเลนส์ พลังของเลนส์เทเลโฟโต้ - รวมถึงการจัดการกล้อง ล้วนเป็นสิ่งที่ช่วยรักษาความสนใจของพวกเขาไว้

เพราะที่เหลือ มันเป็นการน็อกเอาต์ทางเทคนิค

สองพันล้านพิกเซลต่อวินาที

การประมวลผลพิกเซลเกิดขึ้นอย่างไรใน ISP (Image Signal Processor) และเหตุใดตัวเลขสองพันล้านพิกเซลต่อวินาทีจึงเป็นความสำเร็จ

-โดยทั่วไป ใน ISP เราจะประมวลผลพิกเซลทีละพิกเซล แต่เมื่อต้องเผชิญกับข้อมูลจำนวนมหาศาลที่สิ่งนี้เป็นตัวแทน เราจะต้องเข้าถึงความถี่มหาศาลและการใช้พลังงานหากเรายังคงอยู่ในโมเดลนี้» อธิบายโดย Judd Heape ผู้จัดการฝ่ายพัฒนาโมดูล Spectra 480 ที่รับผิดชอบด้านการสร้างภาพ

ความทนทานของแบตเตอรี่ยังเป็นจุดขายหลักของอุปกรณ์อีกด้วย ไม่มีปัญหาเรื่องค่าไฟระเบิด

เคล็ดลับ? ประมวลผลพิกเซลมากขึ้นต่อรอบ

ในสไลด์อธิบายของการประชุมเปิดตัว Snapdragon 865 ดูเหมือนง่ายมาก: Spectra จะไม่ประมวลผลหนึ่งอีกต่อไป แต่จะมีสี่พิกเซลต่อรอบ

-ความจริงแล้วมันไม่ง่ายเลย: เราต้องเปลี่ยนทุกอย่างในวิธีการทำงานของแรสเตอร์ แก้ไขห่วงโซ่การประมวลผลภาพทั้งหมด» นาย Heape อธิบายเพิ่มเติมว่า “ข้อจำกัดนั้นรุนแรงมากเนื่องจากพื้นที่ใน SoC นั้นมีจำกัดอย่างมาก-

งานนี้มีปริมาณมากเนื่องจากวิศวกรต้องคิดค้นทุกสิ่งทุกอย่างใหม่ โดยไม่ต้องใช้ "เครื่องยนต์" ในการประมวลผลของเวอร์ชันก่อนๆ

แต่เกมนี้คุ้มค่า Spectra 480 ไม่เพียงแต่สามารถประมวลผลพิกเซลได้มากขึ้นสี่เท่าในความถี่เดียวกันเท่านั้น แต่สำหรับปริมาณพิกเซลที่กำหนด ความถี่สัญญาณนาฬิกาจะถูกหารด้วยสี่เมื่อเทียบกับ ISP ปกติ ซึ่งลด (เกือบ) โดยเฉพาะการใช้พลังงาน
เป็นเครื่องมือประมวลผลภาพใหม่ที่ช่วยให้ Spectra 480 สามารถประมวลผลได้มากถึง 2 พันล้านพิกเซลโดยไม่มีปัญหาเรื่องความร้อน» จัดด์ ฮีปให้ความมั่นใจกับเรา

เพียงพอที่จะรองรับไม่เพียงแต่เซ็นเซอร์ “สัตว์ประหลาด” ในปัจจุบัน เช่น Samsung ISOCELL Bright HMX ความละเอียด 108 ล้านพิกเซล แต่ยังรวมถึง “เซ็นเซอร์ 200 Mpix ในอนาคตจะมาถึง“เขารับรองโดยอธิบายว่า”ความเชื่อมโยงที่เรามีกับอุตสาหกรรมเซ็นเซอร์ทำให้เรารู้ล่วงหน้าว่าส่วนประกอบประเภทใดที่อยู่ระหว่างการเตรียมการ-

Qualcomm เป็นครั้งแรกใน 8K

จุดประสงค์ของการจัดการพิกเซลจำนวนมากต่อวินาทีคืออะไร?

-โดยพื้นฐานแล้ว เราได้พัฒนาโปรเซสเซอร์ที่มีความสามารถดังกล่าวเพื่อเสนอโหมดวิดีโอ 4K ที่ 120 เฟรมต่อวินาที สำหรับลำดับที่ราบรื่นเป็นพิเศษและซูเปอร์สโลว์โมชั่น 720p ที่ 960 เฟรมต่อวินาทีแบบไม่จำกัด», ราคอนเต้ จัดด์ ฮีป -8K เป็นเพียงผลพลอยได้จากประสิทธิภาพที่เราทำได้ เนื่องจากเราสามารถประมวลผลได้สองพันล้านพิกเซลต่อวินาที เราจึงสามารถประมวลผล 8K ได้ทั้งในการถอดรหัสและการถอดรหัส-

หากคุณคิดว่าการประมวลผลไฟล์วิดีโอ 4K ความละเอียดแปดเมกะพิกเซลที่เลวร้ายนั้นมีประสิทธิภาพ 8K จะทำให้คุณกลัว ภาพนิ่งจากไฟล์วิดีโอ 4K คือ 8.3 Mpix (3840 x 2160 พิกเซล) ในขณะที่ 8K แต่ละภาพจะแสดง 33 ล้านพิกเซล!
ที่ 30 เฟรมต่อวินาที นั่นคือ 990 ล้านพิกเซลต่อวินาที สี่เหลี่ยมสีเล็กๆ เกือบพันล้านสี่เหลี่ยมที่ต้องรวบรวม ดีเมทริกซ์ วิเคราะห์ ประมวลผล (สี) รวม (บีบอัด) และบันทึกลงในสื่อหน่วยความจำ ทั้งหมดนี้ด้วยความเร็วดุจสายฟ้า งานใหญ่นี้เกี่ยวข้องกับการเขียน ในการอ่าน Spectra 480 จะถอดรหัส 8K ที่ 60 เฟรมต่อวินาทีหรือ 1.98 พันล้านพิกเซล ซึ่งเป็นขีดจำกัดการคำนวณสูงสุด สำหรับการเปรียบเทียบ Full HD คือ 60 ล้านพิกเซลต่อวินาที และ 4K มีเพียง 250 ล้านพิกเซล

ด้วย Spectra 480 ของ Snapdragon 865 Qualcomm ได้สร้างประวัติศาสตร์ด้วยการจัดหาชิปตัวแรกสำหรับอุปกรณ์ผู้บริโภคที่สามารถรองรับ 8K ได้ ดังนั้นจึงเป็นสถานที่พิเศษในประวัติศาสตร์ของการพัฒนามาตรฐานวิดีโอนี้ และนี่ต่อหน้ากล้องถ่ายภาพและวิดีโอกระแสหลัก

หากปัจจุบัน 8K ถูกสงวนไว้สำหรับหน้าจอขนาดใหญ่มาก (เกิน 65 นิ้ว) และหากคุณภาพที่มากสุดจะก่อให้เกิดปัญหามากมาย (พื้นที่เก็บข้อมูล พลังการประมวลผลที่จำเป็น ความร้อน ฯลฯ) แสดงว่าประสิทธิภาพยังคงอยู่

ฝนตกหนักของพิกเซลและปัญญาประดิษฐ์

นอกจาก Spectra 480 ซึ่งจัดการทั้งวิดีโอความละเอียดสูงพิเศษ (8K) และ “gigaphoto” (สองพันล้านพิกเซลต่อวินาที, เซ็นเซอร์ 200 mpix เป็นต้น) Snapdragon 865 ยังมีข้อได้เปรียบเหนือชิปที่ติดตั้งกล้องอีกด้วย: เขา ไม่ได้อยู่คนเดียว
ภายในนั้น โปรเซสเซอร์ (CPU) ชิปกราฟิก (GPU) รวมถึง DPS ซึ่งเป็นชิปที่ออกแบบมาเพื่อปัญญาประดิษฐ์โดยเฉพาะทำงานอยู่ เรียกว่าหกเหลี่ยม DSP นี้รวมเอาเอ็นจิ้น AI รุ่นที่ 5 ของ Qualcomm เข้าด้วยกัน และขณะนี้สามารถดำเนินการได้สูงสุด 15 เทราต่อวินาที (15 TOPS = 15,000,000,000,000 การดำเนินการ)

ตัวนำการคำนวณ Hexagon สามารถกู้คืนข้อมูลที่ประมวลผลโดย Spectra และใช้ CPU, GPU หรือหน่วยของตัวเองขึ้นอยู่กับลักษณะของการคำนวณที่จะดำเนินการ
พลังที่น่าทึ่งสำหรับชิปขนาดไม่กี่ตารางมิลลิเมตร ซึ่งช่วยให้ Snapdragon 865 สามารถรวมภาพหลายร้อยภาพเพื่อปรับปรุงคุณภาพ เพื่อ "เข้าใจ" องค์ประกอบที่ถ่าย และใช้ฟิลเตอร์ที่แตกต่างกัน ขึ้นอยู่กับว่าเป็นใบหน้าหรือใบไม้ ( การแบ่งส่วนความหมาย) ฯลฯ กล่าวโดยย่อคือ เพื่อปรับปรุงข้อมูลที่มาจากโมดูลกล้องที่เล็กกว่ามากและดีน้อยกว่าโมดูลที่ติดตั้งกล้อง

ความแรงของปริมาตร

หากการเปรียบเทียบระหว่างกล้อง "ของจริง" กับสมาร์ทโฟนเป็นเรื่องยากเนื่องจากลักษณะและข้อจำกัดที่แตกต่างกัน (ต้องเปิดกล้องภายในไม่กี่วินาที ฯลฯ) ความเหนือกว่าทางทฤษฎีของ SoC ของสมาร์ทโฟนสามารถอธิบายได้ด้วยคำเดียว: ระดับเสียง
ในขณะที่กล้องไฮเอนด์ที่ขายดีสามารถขายได้ไม่กี่แสนเครื่อง ส่วนสมาร์ทโฟนก็ขายได้หลายร้อยล้านเครื่อง

อย่างไรก็ตาม เมื่อ Sony, Panasonic หรือ Nikon พัฒนาโปรเซสเซอร์ของตนเองสำหรับกล่องของตน ผู้ผลิตสมาร์ทโฟนทั้งหมดหรือเกือบทั้งหมดหันมาหา Qualcomm ตลาดสมาร์ทโฟนที่มีปริมาณมหาศาลทำให้ Qualcomm สามารถทุ่มงบด้านการวิจัยและพัฒนาได้ไม่เหมือนกับในโลกภาพถ่าย และด้วยเหตุนี้ โดยไม่เปิดเผยตัวตน จึงกลายเป็นคนสำคัญในโลกแห่งภาพ

🔴 เพื่อไม่ให้พลาดข่าวสารจาก 01net ติดตามเราได้ที่Google ข่าวสารetวอทส์แอพพ์-