programming python

Lấy python sử dụng bộ nhớ gpu

Bạn có thể lấy thông tin cơ bản về GPU NVIDIA và mức sử dụng hiện tại của nó bằng chương trình “Giao diện quản lý hệ thống” của NVIDIA ________ 14. Xem trang hướng dẫn của nó để biết chi tiết 

hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
5 hoặc chạy nó với tùy chọn -h i. e. 
hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
6 để được giúp đỡ. Xem Kiểm tra khả năng của thiết bị để tìm hiểu thông tin chi tiết về thẻ

Xin lưu ý. Không sử dụng lệnh nvidia-smi với tùy chọn 

hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
7, cũng như với lệnh 
hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
8. Chạy nvidia-smi liên tục bằng vòng lặp sẽ tiêu tốn tài nguyên GPU và sẽ làm chậm công việc của mọi người

Bạn cần đăng nhập vào nút GPU để chạy lệnh này

Đây là một ví dụ về đầu ra của nó

GPUNode $ 
$ nvidia-smi 

Mon Jun 28 14:13:56 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 465.19.01    Driver Version: 465.19.01    CUDA Version: 11.3     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-PCIE..  Off  | 00000000:3B:00.0 Off |                    0 |
| N/A   61C    P0   155W / 250W |  17289MiB / 32510MiB |     91%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Tesla V100-PCIE..  Off  | 00000000:D8:00.0 Off |                    0 |
| N/A   62C    P0   152W / 250W |  17289MiB / 32510MiB |     89%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A     57573      C   python                          17283MiB |
|    1   N/A  N/A     57573      C   python                          17283MiB |
+-----------------------------------------------------------------------------+
$

Bạn có thể thấy rằng nút này đã cài đặt hai GPU Tesla V100. Cả hai đều đang chạy với mức sử dụng bộ nhớ khoảng 50% và mức sử dụng GPU là 90%

Bạn có thể nhận danh sách hai GPU và UUID của chúng bằng cái này

hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]

Bạn có thể chỉ định thông tin nào bạn muốn xem bằng cách sử dụng tùy chọn 

hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
9 với tham số 
hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
0 e. g

$ nvidia-smi -q -d MEMORY,COMPUTE,UTILIZATION

Ở trên sẽ hiển thị dữ liệu cho cả hai GPU. Nếu bạn chỉ muốn xem thông tin cho một GPU cụ thể thì bạn có thể chỉ định UUID để truy vấn

$ nvidia-smi -q -d MEMORY,COMPUTE,UTILIZATION -i GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70 --loop=600

Lưu ý trong ví dụ trên tôi cũng đã sử dụng tùy chọn 

hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
1. Điều này có thể rất hữu ích nhưng xin vui lòng không sử dụng điều này liên tục với khoảng thời gian ngắn

Tôi đang chạy một mô hình ở chế độ eval. Tôi đã viết những dòng mã này sau khi chuyển tiếp để xem bộ nhớ đang sử dụng

print["torch.cuda.memory_allocated: %fGB"%[torch.cuda.memory_allocated[0]/1024/1024/1024]]
print["torch.cuda.memory_reserved: %fGB"%[torch.cuda.memory_reserved[0]/1024/1024/1024]]
print["torch.cuda.max_memory_reserved: %fGB"%[torch.cuda.max_memory_reserved[0]/1024/1024/1024]]

cái nào in ra

ngọn đuốc. cuda. bộ nhớ_được phân bổ. 0. 004499GB
đèn pin. cuda. memory_reserve. 0. 007812GB
đèn pin. cuda. max_memory_reserve. 0. 007812GB

Tuy nhiên, chạy 

hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
4 cho tôi biết rằng python đang sử dụng 1. 349 GB. Điều gì gây ra sự khác biệt?

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ..  Off  | 00000000:01:00.0  On |                  N/A |
| N/A   57C    P0    33W /  N/A |   2392MiB /  7982MiB |      3%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1103      G   /usr/lib/xorg/Xorg                106MiB |
|    0   N/A  N/A      1702      G   /usr/lib/xorg/Xorg                476MiB |
|    0   N/A  N/A      1874      G   /usr/bin/gnome-shell               87MiB |
|    0   N/A  N/A      2331      G   ...AAAAAAAAA= --shared-files       51MiB |
|    0   N/A  N/A      4307      G   /usr/lib/firefox/firefox          175MiB |
|    0   N/A  N/A      4569      G   /usr/lib/firefox/firefox           37MiB |
|    0   N/A  N/A     21370      G   ...AAAAAAAAA= --shared-files       33MiB |
|    0   N/A  N/A     24668      G   ...AAAAAAAAA= --shared-files       56MiB |
|    0   N/A  N/A     25867      C   python                           1349MiB |
+-----------------------------------------------------------------------------+

Cảm ơn bạn đã trả lời. Tôi thực sự đang sử dụng một mô hình rất nhỏ với tổng số thông số chỉ khoảng 200 nghìn trong quá trình đào tạo. Các giá trị trên là khi tôi đặt mô hình ở chế độ eval và kích thước lô là 128. Tôi cũng đã sử dụng một chức năng khác 

hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
1 để in như sau

________số 8

điều này cũng cho thấy rằng mô hình của tôi đang sử dụng 4717 KB [bộ nhớ được phân bổ] tại thời điểm thử nghiệm, tương đương với 0. 004499GB

Tôi có hai câu hỏi cuối xin vui lòng

  1. Kích thước lô 128 bản in 

    hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
    2 trong khi tăng lên 1024 bản in 
    hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
    3. Tôi có thể xác nhận rằng sự khác biệt khoảng 1 MB chỉ là do kích thước lô tăng lên không?

  2. Và có lý do nào khiến 

    hpcnode10 $ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB [UUID: GPU-37f061b1-7948-e188-56a7-d30f5e0ffc70]
GPU 1: Tesla V100-PCIE-32GB [UUID: GPU-151b0546-4c5b-039a-e1e2-0acaa0098909]
    4 chuyển từ 
    +-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ..  Off  | 00000000:01:00.0  On |                  N/A |
| N/A   57C    P0    33W /  N/A |   2392MiB /  7982MiB |      3%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1103      G   /usr/lib/xorg/Xorg                106MiB |
|    0   N/A  N/A      1702      G   /usr/lib/xorg/Xorg                476MiB |
|    0   N/A  N/A      1874      G   /usr/bin/gnome-shell               87MiB |
|    0   N/A  N/A      2331      G   ...AAAAAAAAA= --shared-files       51MiB |
|    0   N/A  N/A      4307      G   /usr/lib/firefox/firefox          175MiB |
|    0   N/A  N/A      4569      G   /usr/lib/firefox/firefox           37MiB |
|    0   N/A  N/A     21370      G   ...AAAAAAAAA= --shared-files       33MiB |
|    0   N/A  N/A     24668      G   ...AAAAAAAAA= --shared-files       56MiB |
|    0   N/A  N/A     25867      C   python                           1349MiB |
+-----------------------------------------------------------------------------+
    0 sang 
    +-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ..  Off  | 00000000:01:00.0  On |                  N/A |
| N/A   57C    P0    33W /  N/A |   2392MiB /  7982MiB |      3%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1103      G   /usr/lib/xorg/Xorg                106MiB |
|    0   N/A  N/A      1702      G   /usr/lib/xorg/Xorg                476MiB |
|    0   N/A  N/A      1874      G   /usr/bin/gnome-shell               87MiB |
|    0   N/A  N/A      2331      G   ...AAAAAAAAA= --shared-files       51MiB |
|    0   N/A  N/A      4307      G   /usr/lib/firefox/firefox          175MiB |
|    0   N/A  N/A      4569      G   /usr/lib/firefox/firefox           37MiB |
|    0   N/A  N/A     21370      G   ...AAAAAAAAA= --shared-files       33MiB |
|    0   N/A  N/A     24668      G   ...AAAAAAAAA= --shared-files       56MiB |
|    0   N/A  N/A     25867      C   python                           1349MiB |
+-----------------------------------------------------------------------------+
    1 khi chuyển từ kích thước lô 128 sang 1024 không? . Có phải bộ nhớ được sử dụng bởi bối cảnh CUDA cũng thay đổi dựa trên kích thước lô không?

Đây là định nghĩa mô hình. Kích thước nằm dưới định nghĩa. Mô hình được tạo thành từ 2 VAE. Đầu vào 

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ..  Off  | 00000000:01:00.0  On |                  N/A |
| N/A   57C    P0    33W /  N/A |   2392MiB /  7982MiB |      3%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1103      G   /usr/lib/xorg/Xorg                106MiB |
|    0   N/A  N/A      1702      G   /usr/lib/xorg/Xorg                476MiB |
|    0   N/A  N/A      1874      G   /usr/bin/gnome-shell               87MiB |
|    0   N/A  N/A      2331      G   ...AAAAAAAAA= --shared-files       51MiB |
|    0   N/A  N/A      4307      G   /usr/lib/firefox/firefox          175MiB |
|    0   N/A  N/A      4569      G   /usr/lib/firefox/firefox           37MiB |
|    0   N/A  N/A     21370      G   ...AAAAAAAAA= --shared-files       33MiB |
|    0   N/A  N/A     24668      G   ...AAAAAAAAA= --shared-files       56MiB |
|    0   N/A  N/A     25867      C   python                           1349MiB |
+-----------------------------------------------------------------------------+
2 và 
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ..  Off  | 00000000:01:00.0  On |                  N/A |
| N/A   57C    P0    33W /  N/A |   2392MiB /  7982MiB |      3%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1103      G   /usr/lib/xorg/Xorg                106MiB |
|    0   N/A  N/A      1702      G   /usr/lib/xorg/Xorg                476MiB |
|    0   N/A  N/A      1874      G   /usr/bin/gnome-shell               87MiB |
|    0   N/A  N/A      2331      G   ...AAAAAAAAA= --shared-files       51MiB |
|    0   N/A  N/A      4307      G   /usr/lib/firefox/firefox          175MiB |
|    0   N/A  N/A      4569      G   /usr/lib/firefox/firefox           37MiB |
|    0   N/A  N/A     21370      G   ...AAAAAAAAA= --shared-files       33MiB |
|    0   N/A  N/A     24668      G   ...AAAAAAAAA= --shared-files       56MiB |
|    0   N/A  N/A     25867      C   python                           1349MiB |
+-----------------------------------------------------------------------------+
3 đều là 
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.57.02    Driver Version: 470.57.02    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ..  Off  | 00000000:01:00.0  On |                  N/A |
| N/A   57C    P0    33W /  N/A |   2392MiB /  7982MiB |      3%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      1103      G   /usr/lib/xorg/Xorg                106MiB |
|    0   N/A  N/A      1702      G   /usr/lib/xorg/Xorg                476MiB |
|    0   N/A  N/A      1874      G   /usr/bin/gnome-shell               87MiB |
|    0   N/A  N/A      2331      G   ...AAAAAAAAA= --shared-files       51MiB |
|    0   N/A  N/A      4307      G   /usr/lib/firefox/firefox          175MiB |
|    0   N/A  N/A      4569      G   /usr/lib/firefox/firefox           37MiB |
|    0   N/A  N/A     21370      G   ...AAAAAAAAA= --shared-files       33MiB |
|    0   N/A  N/A     24668      G   ...AAAAAAAAA= --shared-files       56MiB |
|    0   N/A  N/A     25867      C   python                           1349MiB |
+-----------------------------------------------------------------------------+
4

Làm cách nào để in mức sử dụng bộ nhớ GPU trong python?

Bạn sẽ cần phải cài đặt thư viện nvidia-ml-py3 trong python [pip install nvidia-ml-py3] để cung cấp các ràng buộc cho thư viện Quản lý NVIDIA. Here is the code snippet: Thats it!

Làm cách nào để sử dụng GPU trong python?

Cài đặt .
Mở một thiết bị đầu cuối trong một thư mục khác với thư mục GPUtil
Bắt đầu bảng điều khiển python bằng cách gõ python trong thiết bị đầu cuối
Trong bảng điều khiển python mới mở, hãy nhập. nhập GPUtil GPUtil. .
Đầu ra của bạn sẽ giống như sau, tùy thuộc vào số lượng GPU của bạn và mức sử dụng hiện tại của chúng

Làm sao để kiểm tra dung lượng GPU?

Bạn có thể kiểm tra cạc đồ họa của mình và tất cả các chi tiết xung quanh nó bằng cách sử dụng lệnh Run trong Windows 10. .
Chuyển đến thanh tìm kiếm của Windows và nhập 'run', sau đó nhấp vào 'Open' bên cạnh ứng dụng Run
Một hộp bật lên sẽ xuất hiện và bạn nên nhập 'dxdiag' vào hộp bên cạnh 'Open', sau đó nhấp vào 'OK'

Bài Viết Liên Quan

Định dạng múi giờ javascript
Làm cách nào để thay đổi vai trò người dùng trong WordPress theo chương trình?
500ml bằng bao nhiêu xị
Hướng dẫn dùng 4d query trong PHP
Sẽ có Chevy Equinox 2023?
Tham số vô giá trị php
Laravel excel lấy tên sheet
Câu lệnh PHP nào sẽ lưu trữ 111 trong biến num?
Làm thế nào để làm tròn xuống PHP?
LinkedIn Học Python
Big 10 2024 football schedule
Cách căn chỉnh nhãn và đầu vào trong html
Bộ đếm tối đa Python
Yêu cầu đường dẫn tuyệt đối php
Bảng HTML email Power Automate
Đánh dấu Excel
Lịch học usa 2022-2023
Chuyển đổi base64 sang hình ảnh excel
Thử/ngoại trừ Python Với thông báo lỗi
Ngày phát hành Pacifica Hybrid 2023

Toplist mới

#1
Top 7 sự tích hồ gươm - ngữ văn lớp 6 2023
7 tháng trước
#2
Top 7 gdcd 6 bài 1 kết nối tri thức 2023
7 tháng trước
#3
Top 7 ý nghĩa của xây dựng gia đình văn hóa 2023
7 tháng trước
#4
Top 6 mẫu hợp đồng mượn đất làm nhà xưởng 2023
7 tháng trước
#5
Top 3 tổng tài biến thái tôi yêu anh tập 27 2023
7 tháng trước
#6
Top 6 kết thực phim mỹ nhân vô lệ 2023
7 tháng trước
#7
Top 9 trong những câu thơ sau câu nào sử dụng thành ngữ 2023
7 tháng trước
#8
Top 8 đề tài và chủ de của tác phẩm tắt đèn 2023
7 tháng trước
#9
Top 5 tiểu sử của thầy thích pháp hòa 2023
7 tháng trước

Bài mới nhất

Cách dạy con học toán lớp 1 hiệu quả năm 2024
Hàm trung bình cộng trong thư viện math.h năm 2024
Bán đất đường trần quang diệu thành phố thanh hóa năm 2024
Khi chạy chương trình báo lỗi invalid missing system.setup năm 2024
Bài giảng sự lai hóa các obitan phân tử năm 2024

Chủ Đề

programming Hỏi Đáp Toplist Là gì Bài Tập Địa Điểm Hay Mẹo Hay Học Tốt Nghĩa của từ Công Nghệ Khỏe Đẹp bao nhiêu Top List Tiếng anh Bao nhiêu Sản phẩm tốt Xây Đựng Ngôn ngữ javascript Ở đâu Đại học Hướng dẫn Bài tập Tại sao Dịch So Sánh Máy tính Món Ngon mẹo hay Bao lâu Thế nào So sánh Khoa Học Vì sao Lớp 9 Lớp 10