به طور معمول ، برای ایجاد یک بازسازی دقیق 3 بعدی از چهره شخصی ، تجهیزات و مهارت های کمی لازم است که واقع بینانه است و به نظر نمی رسد خزنده است. اکنون ، محققان دانشگاه کارنگی ملون با استفاده از فیلم ضبط شده در یک تلفن هوشمند معمولی ، این شاهکار را بیرون کشیدند.
استفاده از تلفن هوشمند برای فیلم برداری مداوم از قسمت جلویی و کناره های صورت ، ابر متراکم از داده ها را ایجاد می کند. یک فرآیند دو مرحله ای که توسط موسسه روباتیک CMU ساخته شده است ، از این داده ها با کمک برخی از الگوریتم های یادگیری عمیق ، برای ساخت یک بازسازی دیجیتالی صورت استفاده می کند. آزمایشات این تیم نشان می دهد که روش آنها می تواند به دقت زیر میلی متر برسد و از سایر فرایندهای مبتنی بر دوربین فراتر رود.
یک چهره دیجیتالی ممکن است برای ساخت نماد بازی یا بازی واقعیت مجازی یا افزودنی مورد استفاده قرار گیرد ، همچنین می تواند در انیمیشن ، شناسایی بیومتریک و حتی مراحل پزشکی نیز مورد استفاده قرار گیرد. ارائه دقیق 3 بعدی صورت نیز ممکن است در ساخت ماسک های جراحی سفارشی یا دستگاه تنفس مفید باشد.
" سیمون لوسی" ، استاد تحقیقات تحقیقات در موسسه روباتیک گفت: "ساخت یک بازسازی 3 بعدی صورت باعث ایجاد مشکل در بینایی و گرافیک رایانه شده است زیرا افراد نسبت به ظاهر ویژگی های صورت بسیار حساس هستند." "حتی ناهنجاری های جزئی در بازسازی ها می توانند نتیجه نهایی را غیر واقعی جلوه دهند."
اسکنرهای لیزری ، نورهای ساخت یافته و تنظیمات استودیوی چند سیما می توانند اسکن های بسیار دقیقی از چهره ایجاد کنند ، اما این سنسورهای تخصصی برای اکثر برنامه ها بسیار گران قیمت هستند. با این حال ، روش تازه توسعه یافته CMU ، تنها به یک تلفن هوشمند نیاز دارد.
روشی که لوسی با دانشجویان استاد Shubham Agrawal و Anuj Pahuja توسعه داد ، در اوایل ماه مارس در کنفرانس زمستانی IEEE درباره برنامه های کاربردی رایانه ویژن (WACV) در Snowmass ، کلرادو ارائه شد. این با فیلمبرداری 15-20 ثانیه فیلم شروع می شود. در این حالت محققان از یک iPhone X در تنظیمات کند استفاده می کنند.
به طور معمول ، برای ایجاد یک بازسازی دقیق و دقیق سه بعدی از چهره افراد ، تجهیزات و تخصص لازم را می طلبد. اکنون ، محققان دانشگاه کارنگی ملون با استفاده از فیلم ضبط شده در یک تلفن هوشمند معمولی ، این شاهکار را بیرون کشیدند. یک فرآیند دو مرحله ای که توسط انستیتوی رباتیک CMU تهیه شده است ، داده های این ویدئو را با کمک برخی از الگوریتم های یادگیری عمیق برای ساخت یک بازسازی دیجیتالی صورت جمع می کند. اعتبار: دانشگاه کارنگی ملون
لوسی گفت: "سرعت زیاد حرکت آهسته فریم یکی از موارد اصلی برای روش ماست زیرا باعث ایجاد ابر متراکم می شود."
محققان سپس از تکنیکی متداول به نام بومی سازی همزمان و نقشه برداری همزمان (SLAM) استفاده می کنند. ویژوال SLAM برای محاسبه شکل آن ، نقاط را بر روی یک سطح مثلث می کند ، در حالی که در همان زمان از آن اطلاعات برای تعیین موقعیت دوربین استفاده می کند. این یک هندسه اولیه صورت را ایجاد می کند ، اما داده های گمشده باعث ایجاد شکاف در مدل می شوند.
درباره این سایت