Vui lòng cho tôi biết nếu tôi không chọn cấu hình được tối ưu hóa nhưng có vẻ lạ vì databricks sẽ tăng khả năng xử lý và có thể xử lý tệp 247mb ngay cả với cấu hình cơ bản
Đánh giá cao thời gian và nỗ lực của bạn, Cảm ơn
azure-databricks
hình ảnh. png [34. 5 KiB]
hình ảnh. png [46. 9 KiB]
hình ảnh. png [10. 8 KiB]
Hiển thị nhận xét 0
Bình luận
5. Cần 1600 ký tự còn lại ký tự
▼
tệp đính kèm. Có thể sử dụng tối đa 10 tệp đính kèm [bao gồm cả hình ảnh] với tối đa 3. 0 MiB mỗi cái và 30. tổng cộng 0 MiB
ChayanUpadhyay-9078 đã trả lời • Ngày 9 tháng 8 năm 21
Cuối cùng có thể xử lý tệp chỉ với một cấu hình nút, cần thêm tham số maxRowsInMemory trong mã
val Data = spark. đọc. định dạng ["com. crealytics. tia lửa. excel"]
. tùy chọn["tiêu đề", "true"]
. tùy chọn ["inferSchema", "true"]. tùy chọn["maxRowsInMemory",10]
. tải ["/mnt/adls/thư mục/tệp. xlsx"]
Tài liệu tham khảo. https. // stackoverflow. com/câu hỏi/50789369/construct-a-dataframe-from-excel-using-scala
Có nhiều tham số tùy chọn khác có thể hữu ích trong các trường hợp sử dụng khác
Bình luận
Hiển thị nhận xét 0
Bình luận
5. Cần 1600 ký tự còn lại ký tự
▼
tệp đính kèm. Có thể sử dụng tối đa 10 tệp đính kèm [bao gồm cả hình ảnh] với tối đa 3. 0 MiB mỗi cái và 30. tổng cộng 0 MiB
ShaikMaheer-MSFT đã trả lời • Ngày 9 tháng 8 năm 21 | ShaikMaheer-MSFT đã nhận xét • Ngày 9 tháng 8, '21
Xin chào @ChayanUpadhyay-9078,
Chào mừng bạn đến với Nền tảng Hỏi & Đáp của Microsoft. Cảm ơn bạn đã đăng câu hỏi trong Nền tảng hỏi đáp của Microsoft
Bạn có thể vui lòng thử bên dưới và xem cách đó có hiệu quả không.
______0
Ngoài ra, vui lòng truy cập các liên kết bên dưới để giải quyết vấn đề của bạn.
https. //kb. gạch dữ liệu. com/việc làm/không có trình điều khiển. html
Để biết GC là gì, vui lòng xem câu trả lời này,
https. // diễn đàn. gạch dữ liệu. com/câu hỏi/14725/how-to-resolve-spark-full-gc-on-cluster-startup. html
Hy vọng điều này sẽ giúp. Vui lòng cho chúng tôi biết nếu có thêm thắc mắc
Vui lòng
accept an answernếu đúng. Áp phích gốc giúp cộng đồng tìm câu trả lời nhanh hơn bằng cách xác định câu trả lời đúng. Đây là cáchMuốn có lời nhắc quay lại và kiểm tra phản hồi?
Bình luận
Nhận xét · Hiển thị 2
Bình luận
5. Cần 1600 ký tự còn lại ký tự
▼
tệp đính kèm. Có thể sử dụng tối đa 10 tệp đính kèm [bao gồm cả hình ảnh] với tối đa 3. 0 MiB mỗi cái và 30. tổng cộng 0 MiB
ChayanUpadhyay-9078 · 09 tháng 8 năm 2021 lúc 08. 42 giờ sáng
Cảm ơn bạn @ShaikMaheer-MSFT vì bạn đã trả lời và dành thời gian
Tôi đã thử câu lệnh clearchache[] nhưng không giúp được gì nhiều, cũng đã xem qua các liên kết nhưng tôi không thấy bất kỳ mã/hoạt động đắt tiền nào sẽ ảnh hưởng đến hiệu suất hoặc quá trình xử lý như vậy, có lẽ tôi đang thiếu một số cấu hình
Tôi sẽ tiếp tục thử một cái gì đó trên cấu hình cụm và xem liệu tôi có thể thay đổi điều này không, đánh giá cao sự trợ giúp của bạn
0 Phiếu bầu 0 ·
ShaikMaheer-MSFT ChayanUpadhyay-9078 · 09 tháng 8 năm 2021 lúc 03. 46 giờ chiều
Xin chào @ChayanUpadhyay-9078 - Rất vui khi biết rằng bạn đã giải quyết vấn đề của mình và cũng đánh dấu đó là câu trả lời. Cảm ơn bạn