ทุกคนนน วันนี้มีของเล่นใหม่มาอวด! SynCity มันคือเทคโนโลยีสุดล้ำ ที่สร้างโลก 3D แบบอลังการได้ แค่พิมพ์ข้อความ (text prompt) เข้าไป! ไม่ต้องเทรน ไม่ต้องปรับแต่งอะไรให้วุ่นวาย! 🤯
SynCity มันจะใช้ AI ที่เทรนมาแล้ว ทั้งแบบ 2D และ 3D มาสร้างโลกให้เราเป็นบล็อกๆ (tiles) ต่อกันไปเรื่อยๆ จนเป็นเมืองใหญ่! แล้วโลก 3D ที่ได้เนี่ย คือสวย สมจริง เดินสำรวจได้เลยนะ!
หลักการทำงาน (แบบง่ายๆ):
- SynCity จะสร้างแต่ละบล็อก (tile) เป็นภาพ 2D ก่อน โดยดูจากบล็อกรอบๆ ด้วย ว่าหน้าตาเป็นยังไง
- จากนั้น ก็จะใช้ AI สุดเทพที่ชื่อว่า TRELLIS แปลงภาพ 2D ให้กลายเป็นโมเดล 3D แล้วเอามาประกอบเข้ากับส่วนอื่นๆ ของเมืองแบบเนียนๆ
ทำไม TRELLIS ถึงสำคัญ?
ปกติแล้ว TRELLIS มันเก่งเรื่องการสร้าง “วัตถุ” 3D เดี่ยวๆ มากกว่า ไม่ค่อยเหมาะกับการสร้าง “ฉาก” ทั้งฉาก แต่ทีมงาน SynCity เขาใช้วิธี “หลอก” TRELLIS โดยการใส่ภาพ 2D ที่เป็นส่วนเล็กๆ ของโลก แล้ววางไว้บน tile ทำให้ TRELLIS สร้าง 3D ออกมาได้ตรงตามที่ต้องการ! 😎
ถึงแม้ว่าแต่ละบล็อก 3D จะถูกสร้างขึ้นมาแยกกัน แต่ตอนที่สร้างภาพ 2D อ่ะ มันจะดูบล็อกข้างๆ ด้วย เพื่อให้ภาพรวมมันดูกลมกลืน แล้วทีมงานก็เอา 3D tiles มา blend เข้าด้วยกันอีกที เพื่อให้ทุกอย่างมันเนียน ไม่มีรอยต่อ!
อยากรู้รายละเอียดเพิ่มเติม ไปดูที่นี่เลย:
- Paper: https://arxiv.org/abs/2503.16420
- Project page: https://research.paulengstler.com/syncity/
- Code (เร็วๆ นี้): https://github.com/paulengstler/syncity
ทีมพัฒนา: @paulengstler, @irolaina, Christian Rupprecht และ Andrea Vedaldi @Oxford_VGG