กล้องพาสทรู บน Quest 3/3S เปิดให้นักพัฒนาใช้ในแอพบน Horizon Store แล้วกล้องผ่านมุมมองของ Quest ไม่ใช่แค่ของเล่นทดลองอีกต่อไป ใช้จริงในแอพทางการได้แล้ว!

Meta อัพเดท SDK เปิดทางให้แอพที่ใช้กล้อง passthrough ของ Quest 3 และ Quest 3S เข้า Meta Horizon Store ได้แล้ว
นักพัฒนาสามารถนำข้อมูลกล้องมาใช้สร้าง AR ขั้นสูง เช่น ตรวจจับวัตถุ ปรับแสง หรือแม้แต่ผสาน AI ที่มีวิสัยทัศน์เข้าไปในแอพ

หลังจากเปิดให้ทดสอบแบบ Experimental มานานกว่า 6 สัปดาห์ ตอนนี้ Passthrough Camera API บน Quest 3 และ Quest 3S ได้รับการอัพเดทใน Meta XR Core SDK v76 จนสามารถใช้งานในแอพจริงที่ปล่อยบน Meta Horizon Store ได้แล้ว (หลังผ่านขั้นตอนการตรวจสอบ)

กล้องพาสทรู คืออะไร?

เป็นการให้แอพเข้าถึงภาพจากกล้องสีด้านหน้าของชุดเฮดเซต — แบบที่เราเห็นเวลาสลับเป็นโหมด passthrough — โดยผู้ใช้ต้อง อนุญาตสิทธิ์การเข้าถึงกล้อง เช่นเดียวกับไมโครโฟน

เมื่อได้รับสิทธิ์แล้ว แอพจะเข้าถึง:

• ภาพจากกล้องสีความละเอียดสูงสุด 1280×960 พิกเซล (ต่อกล้อง) ที่ 30 FPS
• ค่าพารามิเตอร์เลนส์ (lens intrinsics)
• ตำแหน่งของเฮดเซตแบบเรียลไทม์ (headset pose)

ทั้งหมดนี้เปิดทางให้แอพใช้โมเดล Computer Vision หรือ AI Vision ขั้นสูง เช่น

• การอ่าน QR Code
• ตรวจจับโต๊ะหรือกระดานเกม แล้วซ้อนวัตถุเสมือนลงไป
• ตรวจจับวัตถุจริงเพื่อทำคู่มือ AR สำหรับงานอุตสาหกรรม
• ผสานการวิเคราะห์ภาพจากโมเดล AI แบบ cloud-hosted เช่น OpenAI หรือ Google Cloud Vision

แต่ต้องเข้าใจข้อจำกัดบางอย่าง เช่น ความหน่วงที่ประมาณ 40-60 มิลลิวินาที ทำให้ไม่เหมาะกับการติดตามวัตถุที่เคลื่อนไหวเร็ว หรือการอ่านข้อความขนาดเล็ก

เทคนิคลึก ๆ: ไม่มี “API กล้อง Quest” จริง ๆ?

แม้จะเรียกว่า Passthrough Camera API แต่แท้จริงแล้ว Meta เพียงเปิดการเข้าถึง Android Camera2 API ร่วมกับฟังก์ชันของ OpenXR สำหรับดึงข้อมูลตำแหน่งเฮดเซต และใช้ร่วมกับ Unity หรือ Unreal Engine ได้ทันที

นักพัฒนาสามารถ:

• ใช้ Unity ผ่าน WebCamTexture (แต่จำกัดใช้ได้แค่กล้องเดียว)
• ใช้ Android Native กับ Camera2 ได้แบบเต็มระบบ
• เขียนโค้ดที่รองรับได้กับแพลตฟอร์ม Android XR ของ Google ที่กำลังจะเปิดตัวกับชุดเฮดเซต Samsung XR ได้ในอนาคต

ตัวอย่างบน GitHub จาก Meta และนักพัฒนา

Meta ปล่อย 5 ตัวอย่างทางการ สำหรับ Unity ได้แก่:

• CameraViewer
• CameraToWorld
• BrightnessEstimation
• MultiObjectDetection
• ShaderSample

และจาก Roberto Coviello (วิศวกรของ Meta) ยังมีอีก 5 ตัวอย่าง:

• Color Picker
• Object Detection
• QR Code Tracking
• Frosted Glass Shader
• การใช้ OpenAI Vision Model

นี่เป็นอีกหนึ่งก้าวที่ทำให้ชุดเฮดเซตอย่าง Quest 3 และ Quest 3S ไม่ใช่แค่เครื่องเล่นเกม แต่กลายเป็น แพลตฟอร์ม AR/AI ขั้นสูง ที่เข้าถึงภาพโลกจริงแบบลึกถึงระดับเลนส์ พร้อมเปิดให้สร้างประสบการณ์ที่ทับซ้อนโลกจริงได้อย่างเต็มที่แล้วครับ

ต้องการให้แนะนำชื่อฟีเจอร์ AR ที่น่าสนใจเพื่อใช้ในแอพด้วยไหมครับ?

ที่มา

uploadvr