Tổng hợp Novel View tìm thấy các ứng dụng thú vị trong sản xuất phim, phát sóng thể thao và dịch chuyển tức thời. Tổng hợp xem mới là quá trình tạo ra chế độ xem 3D, hoặc đôi khi là cảnh 3D, với các hình ảnh 2D có sẵn được chụp từ các tư thế, định hướng và chiếu sáng khác nhau. Tổng hợp quan điểm cơ thể con người là một trong những vấn đề đầy thách thức, đặc biệt là cơ thể con người, đang chuyển động. Trình bày xem các phương pháp tổng hợp sử dụng kết xuất dựa trên hình ảnh hoặc biểu diễn thần kinh ngầm để phát triển chế độ xem 3D. & NBSP;
Tuy nhiên, sự cản trở chính trong các phương pháp tổng hợp quan điểm này là độ phức tạp phần cứng. Xem tổng hợp đòi hỏi một mảng camera dày đặc để chụp đối tượng từ các quan điểm và hướng khác nhau hoặc một vài cảm biến độ sâu độ phân giải cao. Yêu cầu phần cứng cao làm cho hệ thống rất tốn kém hoặc không thể thiết lập do các ràng buộc không gian và các yêu cầu cấu hình nghiêm ngặt. Những yêu cầu camera dày đặc này có thể được khắc phục bằng cách sử dụng số lượng máy ảnh hoặc cảm biến tương đối ít hơn. Nhưng, số lượng máy ảnh giảm gây ra sự thưa thớt trong quan điểm liên tục. Điều này gây ra việc học đại diện không rõ ràng về quan điểm và do đó dẫn đến kết xuất quan điểm kém. Một cách tiếp cận để tổng hợp chế độ xem mới với số lượng máy ảnh hoặc cảm biến hạn chế đã trở thành một nhu cầu ngày nay. & NBSP;
Belamy
Đăng ký liều hàng tuần của bạn về những gì đang hoạt động trong công nghệ mới nổi.Để kết thúc này, Sida Peng, Yuas Khánh Zhang, Qing Shuai, Hujun Bao và Xiaowei Zhou của Đại học Chu nắm bắt các tư thế của cơ thể con người năng động và làm cho chế độ xem 3D chất lượng cao cũng như cảnh 3D của cơ thể người gốc. & NBSP;
Cách tiếp cận này giả định rằng biểu diễn thần kinh ngầm đã học giữa các khung camera thưa thớt khác nhau có chung mã biểu diễn không gian tiềm ẩn có cấu trúc được đặt thành một lưới biến dạng. Do đó, việc chụp thưa thớt có thể được tích hợp để tạo thành một biểu diễn xem 3D liên tục. Lưới biến dạng có thể bị biến dạng cho bất kỳ vị trí có thể của con người dựa trên tư thế đầu vào. Cơ thể thần kinh tổng hợp các quan điểm mới lạ của một người biểu diễn của con người trong các chuyển động phức tạp và các hình minh họa khác nhau từ các khung video đa điểm xem thưa thớt. Hơn nữa, khung này không cần mạng được đào tạo trước để tìm hiểu các đại diện.
Cũng đọc
Trong khi đào tạo khung cơ thể thần kinh, các mã tiềm ẩn có cấu trúc được đưa vào làm đầu vào vào một mạng lưới thần kinh chập thưa [sparseconvnet] xuất hiện âm lượng mã tiềm ẩn. Do đó, biểu diễn không gian 3D được bật từ dữ liệu đầu vào. Mã tiềm ẩn cho bất kỳ điểm 3D suy luận nào có thể thu được bằng cách thực hiện phép nội suy Trilinear của các điểm hàng xóm trong khối lượng mã tiềm ẩn. Sau khi lấy mã tiềm ẩn cho bất kỳ tư thế suy luận nào, chúng được đưa vào các mạng chuyển tiếp thức ăn cho hồi quy màu sắc và mật độ. & NBSP;
Lưới biến dạng được thiết kế bằng cách kết nối các đỉnh của nó với các mã tiềm ẩn có cấu trúc. Đối với điều này, SMPL nổi tiếng [mô hình tuyến tính nhiều người] được sử dụng được điều chỉnh bởi các tham số hình dạng và các tham số tư thế. Bằng cách neo các biểu diễn tiềm ẩn cho mô hình SMPL này, một lưới động của cơ thể con người được phát triển. Mô hình này cho phép suy luận nhanh chóng về tái thiết 3D và tổng hợp xem mới.
Thực hiện Python
Cơ thể thần kinh yêu cầu Python 3.6+, Cuda 10.0, Pytorch 1.4.0 và thời gian chạy GPU. Các lệnh sau cài đặt Pytorch 1.4.0 tương thích với CUDA 10.0.
!pip install torch==1.4.0+cu100 -f //download.pytorch.org/whl/torch_stable.html
Output:
Lệnh sau đây tải mã nguồn vào máy cục bộ.
!git clone //github.com/zju3dv/neuralbody
Output:
Xác minh nội dung đã tải xuống bằng cách khám phá thư mục.
!ls neuralbody
Output:
Thay đổi thư mục hiện tại để tham khảo content/neuralbody/
bằng cách cung cấp lệnh Magic dòng.
%cd neuralbody/
Tải xuống gói Anaconda-3 bằng lệnh sau, nếu máy cục bộ không có môi trường Conda.
conda create -n neuralbody python=3.7 conda activate neuralbody0
Output:
Cài đặt gói Anaconda-3 đã tải xuống bằng lệnh sau.
conda create -n neuralbody python=3.7 conda activate neuralbody1
Bật thư mục Conda để chạy các lệnh tiếp theo,
%cd content/neuralbody/ !export PATH=~/anaconda3/bin:$PATH !exec bash
và kích hoạt môi trường và thần kinh bằng cách cung cấp các lệnh sau bên trong ô lệnh chế độ cơ sở bên trong như hình bên dưới. & nbsp;
conda create -n neuralbody python=3.7 conda activate neuralbody
Cài đặt các phụ thuộc bằng cách sử dụng lệnh sau.
conda create -n neuralbody python=3.7 conda activate neuralbody2
Cài đặt thư viện
conda create -n neuralbody python=3.7 conda activate neuralbody3 và xây dựng bánh xe của nó bằng các lệnh sau.
%%bash cd git clone //github.com/traveller59/spconv --recursive cd spconv git checkout abf0acf30f5526ea93e687e3f424f62d9cd8313a export CUDA_HOME="/usr/local/cuda-10.0" python setup.py bdist_wheel cd dist pip install spconv-1.2.1-cp36-cp36m-linux_x86_64.whl
Tải xuống các bộ dữ liệu từ trang dữ liệu chính thức xuống thư mục
conda create -n neuralbody python=3.7 conda activate neuralbody4. Cần lưu ý rằng kích thước của các bộ dữ liệu vượt quá kích thước 30GB. Sau khi tải xuống, các bộ dữ liệu có thể được chuẩn bị bằng các lệnh sau.
%%bash ROOT= content/neuralbody/ cd $ROOT/data ln -s content/neuralbody/people_snapshot people_snapshot # OR ln -s content/neuralbody/zju_mocap zju_mocap
Tải xuống mô hình được đào tạo trước từ trang mô hình chính thức xuống thư mục dữ liệu /mới được tạo và bật một trong các mô hình và chạy nó bằng các lệnh,
%%bash $ROOT/data/trained_model/if_nerf/female3c/latest.pth python run.py --type visualize --cfg_file configs/snapshot_f3c_demo.yaml exp_name female3c python run.py --type visualize --cfg_file configs/snapshot_f3c_perform.yaml exp_name female3c python run.py --type visualize --cfg_file configs/snapshot_f3c_mesh.yaml exp_name female3c train.num_workers 0 # start training python train_net.py --cfg_file configs/snapshot_f3c.yaml exp_name female3c resume False # distribute training based on the gpu availability python -m torch.distributed.launch --nproc_per_node=4 train_net.py --cfg_file configs/snapshot_f3c.yaml exp_name female3c resume False gpus "0, 1, 2, 3" distributed True
Cần lưu ý rằng đào tạo có thể mất vài giờ dựa trên tính khả dụng của bộ nhớ và cấu hình thiết bị.
Hiệu suất của cơ thể thần kinh
Khung cơ thể thần kinh được đào tạo về các chuyển động phức tạp của con người như Twirling, Taichi, cánh tay, khởi động, đấm và đá. Các chuyển động phức tạp của con người được chụp bởi một hệ thống đa camera gồm 21 máy ảnh được đồng bộ hóa. Đầu vào từ 4 camera phân phối đều được chọn để đào tạo và phần còn lại để thử nghiệm. Đào tạo và thử nghiệm cơ thể thần kinh và các nghệ thuật hiện đại gần đây, NERF [Trường rạng rỡ thần kinh], NV [thể tích thần kinh], Colmap, DVR [kết xuất thể tích khác nhau] ra trong điều kiện giống hệt nhau. Cơ thể thần kinh vượt trội so với bất kỳ mô hình nào khác trên thang điểm PSNR [tỷ lệ tín hiệu trên tạp âm cực đại] và thang đo SSIM [Số liệu tương tự cấu trúc]. & NBSP;
đọc thêm
- Giấy nghiên cứu ban đầu
- Kho lưu trữ mã nguồn
- Trang web chính thức
- Bộ dữ liệu chính thức