Hướng dẫn convert 2d image to 3d python - chuyển đổi hình ảnh 2d sang 3d python

Tổng hợp Novel View tìm thấy các ứng dụng thú vị trong sản xuất phim, phát sóng thể thao và dịch chuyển tức thời. Tổng hợp xem mới là quá trình tạo ra chế độ xem 3D, hoặc đôi khi là cảnh 3D, với các hình ảnh 2D có sẵn được chụp từ các tư thế, định hướng và chiếu sáng khác nhau. Tổng hợp quan điểm cơ thể con người là một trong những vấn đề đầy thách thức, đặc biệt là cơ thể con người, đang chuyển động. Trình bày xem các phương pháp tổng hợp sử dụng kết xuất dựa trên hình ảnh hoặc biểu diễn thần kinh ngầm để phát triển chế độ xem 3D. & NBSP;

Tuy nhiên, sự cản trở chính trong các phương pháp tổng hợp quan điểm này là độ phức tạp phần cứng. Xem tổng hợp đòi hỏi một mảng camera dày đặc để chụp đối tượng từ các quan điểm và hướng khác nhau hoặc một vài cảm biến độ sâu độ phân giải cao. Yêu cầu phần cứng cao làm cho hệ thống rất tốn kém hoặc không thể thiết lập do các ràng buộc không gian và các yêu cầu cấu hình nghiêm ngặt. Những yêu cầu camera dày đặc này có thể được khắc phục bằng cách sử dụng số lượng máy ảnh hoặc cảm biến tương đối ít hơn. Nhưng, số lượng máy ảnh giảm gây ra sự thưa thớt trong quan điểm liên tục. Điều này gây ra việc học đại diện không rõ ràng về quan điểm và do đó dẫn đến kết xuất quan điểm kém. Một cách tiếp cận để tổng hợp chế độ xem mới với số lượng máy ảnh hoặc cảm biến hạn chế đã trở thành một nhu cầu ngày nay. & NBSP;

Belamy

Đăng ký liều hàng tuần của bạn về những gì đang hoạt động trong công nghệ mới nổi.

Để kết thúc này, Sida Peng, Yuas Khánh Zhang, Qing Shuai, Hujun Bao và Xiaowei Zhou của Đại học Chu nắm bắt các tư thế của cơ thể con người năng động và làm cho chế độ xem 3D chất lượng cao cũng như cảnh 3D của cơ thể người gốc. & NBSP;

Cơ thể thần kinh thực hiện tái cấu trúc 3D và tổng hợp xem mới từ một video đa xem thưa thớt được ghi lại bằng camera RGB hạn chế (nguồn).

Cách tiếp cận này giả định rằng biểu diễn thần kinh ngầm đã học giữa các khung camera thưa thớt khác nhau có chung mã biểu diễn không gian tiềm ẩn có cấu trúc được đặt thành một lưới biến dạng. Do đó, việc chụp thưa thớt có thể được tích hợp để tạo thành một biểu diễn xem 3D liên tục. Lưới biến dạng có thể bị biến dạng cho bất kỳ vị trí có thể của con người dựa trên tư thế đầu vào. Cơ thể thần kinh tổng hợp các quan điểm mới lạ của một người biểu diễn của con người trong các chuyển động phức tạp và các hình minh họa khác nhau từ các khung video đa điểm xem thưa thớt. Hơn nữa, khung này không cần mạng được đào tạo trước để tìm hiểu các đại diện.

Cũng đọc

Cơ thể thần kinh tạo ra các biểu diễn 3D ngầm khác nhau của cơ thể con người dựa trên các tư thế đầu vào từ một mã tiềm ẩn có cấu trúc phổ biến được neo vào một lưới biến dạng (nguồn).

Trong khi đào tạo khung cơ thể thần kinh, các mã tiềm ẩn có cấu trúc được đưa vào làm đầu vào vào một mạng lưới thần kinh chập thưa (sparseconvnet) xuất hiện âm lượng mã tiềm ẩn. Do đó, biểu diễn không gian 3D được bật từ dữ liệu đầu vào. Mã tiềm ẩn cho bất kỳ điểm 3D suy luận nào có thể thu được bằng cách thực hiện phép nội suy Trilinear của các điểm hàng xóm trong khối lượng mã tiềm ẩn. Sau khi lấy mã tiềm ẩn cho bất kỳ tư thế suy luận nào, chúng được đưa vào các mạng chuyển tiếp thức ăn cho hồi quy màu sắc và mật độ. & NBSP;

Lưới biến dạng được thiết kế bằng cách kết nối các đỉnh của nó với các mã tiềm ẩn có cấu trúc. Đối với điều này, SMPL nổi tiếng (mô hình tuyến tính nhiều người) được sử dụng được điều chỉnh bởi các tham số hình dạng và các tham số tư thế. Bằng cách neo các biểu diễn tiềm ẩn cho mô hình SMPL này, một lưới động của cơ thể con người được phát triển. Mô hình này cho phép suy luận nhanh chóng về tái thiết 3D và tổng hợp xem mới.

Cơ thể thần kinh về tổng hợp quan điểm mới và tái thiết 3D (nguồn)

Thực hiện Python

Cơ thể thần kinh yêu cầu Python 3.6+, Cuda 10.0, Pytorch 1.4.0 và thời gian chạy GPU. Các lệnh sau cài đặt Pytorch 1.4.0 tương thích với CUDA 10.0.

!pip install torch==1.4.0+cu100 -f https://download.pytorch.org/whl/torch_stable.html

Output:

Lệnh sau đây tải mã nguồn vào máy cục bộ.

!git clone https://github.com/zju3dv/neuralbody

Output:

Xác minh nội dung đã tải xuống bằng cách khám phá thư mục.

!ls neuralbody

Output:

Thay đổi thư mục hiện tại để tham khảo content/neuralbody/ bằng cách cung cấp lệnh Magic dòng.

%cd neuralbody/

Tải xuống gói Anaconda-3 bằng lệnh sau, nếu máy cục bộ không có môi trường Conda.

 conda create -n neuralbody python=3.7
 conda activate neuralbody 

0

Output:

Cài đặt gói Anaconda-3 đã tải xuống bằng lệnh sau.

 conda create -n neuralbody python=3.7
 conda activate neuralbody 

1

Bật thư mục Conda để chạy các lệnh tiếp theo,

 %cd content/neuralbody/
 !export PATH=~/anaconda3/bin:$PATH
 !exec bash 

và kích hoạt môi trường và thần kinh bằng cách cung cấp các lệnh sau bên trong ô lệnh chế độ cơ sở bên trong như hình bên dưới. & nbsp;

 conda create -n neuralbody python=3.7
 conda activate neuralbody 

Cài đặt các phụ thuộc bằng cách sử dụng lệnh sau.

 conda create -n neuralbody python=3.7
 conda activate neuralbody 

2

Cài đặt thư viện

 conda create -n neuralbody python=3.7
 conda activate neuralbody 

3 và xây dựng bánh xe của nó bằng các lệnh sau.

 %%bash
 cd
 git clone https://github.com/traveller59/spconv --recursive
 cd spconv
 git checkout abf0acf30f5526ea93e687e3f424f62d9cd8313a
 export CUDA_HOME="/usr/local/cuda-10.0"
 python setup.py bdist_wheel
 cd dist
 pip install spconv-1.2.1-cp36-cp36m-linux_x86_64.whl 

Tải xuống các bộ dữ liệu từ trang dữ liệu chính thức xuống thư mục

 conda create -n neuralbody python=3.7
 conda activate neuralbody 

4. Cần lưu ý rằng kích thước của các bộ dữ liệu vượt quá kích thước 30GB. Sau khi tải xuống, các bộ dữ liệu có thể được chuẩn bị bằng các lệnh sau.

 %%bash
 ROOT= content/neuralbody/
 cd $ROOT/data
 ln -s content/neuralbody/people_snapshot people_snapshot
 # OR
 ln -s content/neuralbody/zju_mocap zju_mocap 

Tải xuống mô hình được đào tạo trước từ trang mô hình chính thức xuống thư mục dữ liệu /mới được tạo và bật một trong các mô hình và chạy nó bằng các lệnh,

 %%bash
 $ROOT/data/trained_model/if_nerf/female3c/latest.pth
 python run.py --type visualize --cfg_file configs/snapshot_f3c_demo.yaml exp_name female3c
 python run.py --type visualize --cfg_file configs/snapshot_f3c_perform.yaml exp_name female3c
 python run.py --type visualize --cfg_file configs/snapshot_f3c_mesh.yaml exp_name female3c train.num_workers 0
 # start training
 python train_net.py --cfg_file configs/snapshot_f3c.yaml exp_name female3c resume False
 # distribute training based on the gpu availability
 python -m torch.distributed.launch --nproc_per_node=4 train_net.py --cfg_file configs/snapshot_f3c.yaml exp_name female3c resume False gpus "0, 1, 2, 3" distributed True 

Cần lưu ý rằng đào tạo có thể mất vài giờ dựa trên tính khả dụng của bộ nhớ và cấu hình thiết bị.

Hiệu suất của cơ thể thần kinh

Khung cơ thể thần kinh được đào tạo về các chuyển động phức tạp của con người như Twirling, Taichi, cánh tay, khởi động, đấm và đá. Các chuyển động phức tạp của con người được chụp bởi một hệ thống đa camera gồm 21 máy ảnh được đồng bộ hóa. Đầu vào từ 4 camera phân phối đều được chọn để đào tạo và phần còn lại để thử nghiệm. Đào tạo và thử nghiệm cơ thể thần kinh và các nghệ thuật hiện đại gần đây, NERF (Trường rạng rỡ thần kinh), NV (thể tích thần kinh), Colmap, DVR (kết xuất thể tích khác nhau) ra trong điều kiện giống hệt nhau. Cơ thể thần kinh vượt trội so với bất kỳ mô hình nào khác trên thang điểm PSNR (tỷ lệ tín hiệu trên tạp âm cực đại) và thang đo SSIM (Số liệu tương tự cấu trúc). & NBSP;

So sánh định tính của cơ thể thần kinh với các mô hình khác trong tổng hợp quan điểm mới (nguồn).

Lòng trắc ẩn định tính của cơ thể thần kinh với con người-snapshot trên tái thiết 3D trên các video một mắt (nguồn).

đọc thêm

• Giấy nghiên cứu ban đầu
• Kho lưu trữ mã nguồn
• Trang web chính thức
• Bộ dữ liệu chính thức

Bạn có thể chuyển đổi hình ảnh 2D thành 3D không?

Làm thế nào để bạn tạo một hình ảnh 2D thành một đối tượng 3D?

Bạn có thể làm 3D trong Python không?

Làm thế nào tôi có thể biến một bức tranh thành bản vẽ 3D?