Bayesian bootstrapping là gì?

*Nghiên cứu được hỗ trợ một phần bởi NIH cấp 8R01 EB002784 và bởi NSF cấp DMS 0804324/1208787. Tác giả xin chân thành cảm ơn Giáo sư Wing H. Wong vì một số nhận xét và đề xuất hữu ích

thông báo bản quyền

Phiên bản chỉnh sửa cuối cùng của nhà xuất bản của bài viết này có sẵn miễn phí tại Ann Appl Stat

trừu tượng

Bootstrap tham số có thể được sử dụng để tính toán hiệu quả các bản phân phối sau của Bayes. Các công thức lấy mẫu tầm quan trọng có dạng đơn giản liên quan đến độ lệch trong các họ số mũ và đặc biệt đơn giản bắt đầu từ bất biến Jeffreys trước đó. bởi vì tôi. i. d. bản chất của lấy mẫu bootstrap, các công thức quen thuộc mô tả độ chính xác tính toán của các ước tính Bayes. Bên cạnh các phương pháp tính toán, lý thuyết cung cấp một kết nối giữa phân tích Bayesian và thường xuyên. Các thuật toán hiệu quả cho độ chính xác thường xuyên của các suy luận Bayes được phát triển và thể hiện trong một ví dụ về lựa chọn mô hình

Từ khóa. Jeffreys trước, họ hàm mũ, độ lệch, mô hình tuyến tính tổng quát

1. Giới thiệu

Bài viết này liên quan đến việc sử dụng bootstrap tham số để thực hiện các tính toán suy luận Bayesian. Hai điểm chính được thực hiện. rằng trong một số trường hợp tương đối hạn chế khi áp dụng các phương pháp bootstrap, chúng đưa ra một cách hiệu quả và đơn giản về mặt tính toán để tính toán các phân phối và ước tính hậu nghiệm, tận hưởng một số lợi thế so với các kỹ thuật chuỗi Markov;

Ý tưởng cơ bản là đơn giản và không xa lạ. rằng bootstrap rất hữu ích cho việc tính toán lấy mẫu quan trọng của các bản phân phối sau Bayes. Một bài báo quan trọng bằng cách đề xuất một phiên bản bootstrapping phi tham số cho mục đích này. Bằng cách "đi theo tham số", chúng ta có thể làm cho mối quan hệ Bayes/bootstrap minh bạch hơn. Dòng suy nghĩ này có lợi thế là liên kết hơn là tách biệt các thực hành thường xuyên và Bayesian

Phần 2 giới thiệu các ý chính dưới dạng ví dụ một tham số cơ bản và minh họa mối liên hệ giữa mật độ trước bất biến của Jeffreys và giới hạn độ tin cậy bootstrap chính xác bậc hai. Cả hai phương pháp đều được thực hiện thông qua việc cân nhắc lại các bản sao bootstrap “thô” ban đầu. Việc tính toán các phân phối sau bằng cách cân nhắc lại bootstrap là một chủ đề chính ở đây, trái ngược với các phương pháp chuỗi Markov, cố gắng trực tiếp tạo ra các nhận thức sau được phân phối chính xác

Các họ số mũ đa chiều, được thảo luận trong Phần 3, cho phép quy trình chuyển đổi Bayes/bootstrap được mô tả rõ ràng. Hai họ quan trọng, mô hình tuyến tính tổng quát và chuẩn tắc đa biến, được nghiên cứu trong Phần 4 và Phần 5. Các linh mục kiểu Jeffreys có thể mang lại kết quả không đạt yêu cầu trong các bài toán đa tham số (), như được hiển thị ở đây bằng cách so sánh với các giới hạn độ tin cậy của bootstrap

Một lợi thế của các chương trình tái cân bằng bootstrap là phân tích đơn giản về độ chính xác của chúng. Phần 6 phát triển các ước tính độ chính xác cho phương pháp của chúng tôi, cả nội bộ (Cần bao nhiêu bản sao bootstrap?) và bên ngoài (Kết quả sẽ thay đổi bao nhiêu trong các tập dữ liệu trong tương lai?). Cái sau liên quan đến phân tích thường xuyên của các ước lượng Bayesian, một câu hỏi quan trọng trong các ứng dụng “Bayes khách quan”;

Trọng số của Bootstrap có thể áp dụng cho bất kỳ lựa chọn ưu tiên nào (không ưu tiên ưu tiên thuận tiện như liên hợp chẳng hạn), nhưng ở đây chúng ta sẽ quan tâm nhất đến các phân tích Bayes kiểu mục tiêu thống trị thực tiễn hiện tại. Các linh mục của Jeffrey được nêu trong các ví dụ, để trình bày dễ dàng hơn là cần thiết. Bài báo kết thúc với một bản tóm tắt ngắn gọn trong Phần 7. Một số chi tiết kỹ thuật được hoãn lại cho

Các mối liên hệ giữa quá trình khởi động phi tham số và suy luận Bayes đã xuất hiện sớm, với “phương pháp khởi động Bayesian” và. Tái cân bằng Bootstrap được triển khai khác nhau trong , với một ví dụ hay được đưa ra trong Phần 5 của họ. Phần 4 và 6 của quá trình phát triển bootstrap reweighting dọc theo các dòng được sử dụng trong bài viết này

2 Chuyển đổi và điều chỉnh lại trọng số

Phương pháp của chúng tôi được giới thiệu ở đây dưới dạng bài toán một tham số đơn giản. Bảng 1 cho thấy điểm của n = 22 học sinh trong hai bài kiểm tra, “cơ học” và “vectơ”, có mối tương quan mẫu

Bảng 1

Điểm của 22 học sinh trong hai bài kiểm tra, “cơ học” và “vectơ” (từ , một tập hợp con được chọn ngẫu nhiên trong số 88 học sinh trong Bảng 1 của họ. 2. 1). Tương quan mẫu là θ̂= 0. 498

12345678910111213141516171819202122mech74449593446032495244364252218414831424663vec51694170424040455764615960305851633842694963

Mở trong cửa sổ riêng

θ^=0. 498

(2. 1)

Chúng tôi muốn tính toán một số biện pháp phân phối sau cho giá trị tham số cơ bản thực sự

θ0 = tương quan (điểm cơ học, điểm vectơ)

(2. 2)

Như trong , chúng tôi giả sử rằng điểm số của từng học sinh yi = (meci, veci) là một mẫu ngẫu nhiên từ phân phối chuẩn hai biến có vectơ trung bình μ chưa biết và ma trận hiệp phương sai Σ

y. yi∼indN2(μ,∑)fori=1,2,…,22,

(2. 3)

với y = (y1, y2, …, y22) đại diện cho tập dữ liệu đầy đủ. Đặt (μ̂, Σ̂) biểu thị ước tính khả năng tối đa thông thường (MLE). Sau đó, một mẫu bootstrap tham số y* theo sau (), với (μ̂, Σ̂) thay thế (μ, Σ),

y∗. yi∗∼indN2(μ^,∑^)fori=1,2,…,22

(2. 4)

Tương quan mẫu của y* là một bản sao bootstrap tham số của θ̂, giả sử θ̂*. Tổng số B = 10.000 mẫu bootstrap tham số y* được tạo độc lập theo () và các giá trị θ̂* tương ứng được tính toán. Chúng tôi sẽ biểu thị chúng đơn giản là

θ1, θ2, …, θi, …, θB,

(2. 5)

với θi là viết tắt của θ^i∗

Biểu đồ trong Hình 1 so sánh phân bố của 10.000 θi với hàm mật độ lý thuyết của Fisher fθ(θ̂),

Mở trong cửa sổ riêng

Hình 1

Biểu đồ của B = 10.000 lần lặp lại bootstrap cho hệ số tương quan điểm của học sinh ()–() được chia tỷ lệ để tích hợp thành 1. Đường cong liền là công thức mật độ của Fisher ( ) cho θ = 0. 498. Hình tam giác biểu thị khoảng tin cậy chính xác 95% θ ∈ (0. 093, 0. 741)

fθ(θ^)=(n-2)(1-θ2)(n-1)/2(1-θ^2)(n-4)/2π∫0∞dw(coshw-θθ^)n-1

(2. 6)

trong đó θ đã được đặt bằng với giá trị MLE của nó 0. 498. Theo nghĩa này f0. 498(·) là mật độ bootstrap tham số lý tưởng mà chúng ta sẽ đạt được nếu số lần lặp lại B tiến tới vô cùng. Chương 32 đưa ra công thức () và các biểu diễn khác của fθ(θ̂)

Hình 1 cũng cho biết giới hạn tin cậy chính xác 95%

θ0 ∈ (0. 093, 0. 741),

(2. 7)

2½% không phủ sóng ở mỗi đuôi, thu được từ fθ(θ̂) bằng cách xây dựng thông thường,

∫0. 4981f0. 093(θ)dθ=0. 025,

(2. số 8)

và tương tự ở điểm cuối trên

Giả sử bây giờ chúng ta có mật độ trước π(θ) cho tham số θ và muốn tính mật độ sau π(θ. θ̂). Đối với bất kỳ tập con

nào của không gian tham số Θ = [−1, 1],

Pr{θ∈A∣θ^}=∫Aπ(θ)fθ(θ^)dθ/∫Θπ(θ)fθ(θ^)dθ

(2. 9)

theo quy tắc Bayes

Xác định hệ số chuyển đổi R(θ) là tỷ lệ của hàm khả năng với mật độ bootstrap,

R(θ)=fθ(θ^)/fθ^(θ)

(2. 10)

Ở đây θ̂ được cố định ở giá trị quan sát được của nó là 0. 498 trong khi θ đại diện cho bất kỳ điểm nào trong Θ. Chúng ta có thể viết lại () thành

Pr{θ∈A∣θ^}=∫Aπ(θ)R(θ)fθ^(θ)dθ∫Θπ(θ)R(θ)fθ^(θ)dθ

(2. 11)

Tổng quát hơn, nếu t(θ) là một hàm bất kỳ θ thì kỳ vọng sau của nó là

E{t(θ)∣θ^}=∫Θt(θ)π(θ)R(θ)fθ^(θ)dθ∫Θπ(θ)R(θ)fθ^(θ)dθ

(2. 12)

Các tích phân trong () và () hiện đang được tính theo mật độ bootstrap tham số fθ̂(·). Vì θ1, θ2, …, θB () là một mẫu ngẫu nhiên từ fθ̂(·), các tích phân có thể được ước tính bằng trung bình mẫu theo cách thông thường, mang lại ước tính lấy mẫu tầm quan trọng quen thuộc của E{t(θ). θ̂},

E^{t(θ)∣θ^}=∑i=1BtiπiRi/∑i=1BπiRi

(2. 13)

trong đó ti = t(θi), πi = π(θi) và Ri = R(θi). Trong các điều kiện đều đặn nhẹ, luật số lớn ngụ ý rằng Ê{t(θ). θ̂} tiến đến E{t(θ). θ} là B → ∞. (Các tính toán chính xác của Phần 6 sẽ cho thấy rằng trong trường hợp này B = 10.000 lớn hơn mức cần thiết cho hầu hết các mục đích. )

Đường cong đậm trong Hình 2 mô tả π̂(θ. θ̂), mật độ phía sau ước tính bắt đầu từ Jeffreys trước

Mở trong cửa sổ riêng

Hình 2

Đường cong nặng là mật độ sau π(θ. θ̂) cho tương quan (), bắt đầu từ Jeffreys trước (), thu được bằng cách tính lại trọng số B = 10.000 bản sao bootstrap (); . 095,0. 748). Đường cong nét đứt nhẹ là phân phối bootstrap thô không trọng số. Đường cong đính cườm là mật độ bootstrap có trọng số BCa (), gần giống với π(θ̂. θ) trong trường hợp này

π(θ) = 1/(1 - θ2)

(2. 14)

(xem Phần 3). Bản phân phối bootstrap thô đặt trọng số 1/B cho mỗi bản sao B θi. Bằng cách tính lại các điểm này theo tỷ lệ wi = πiRi, chúng tôi thu được phân phối sau ước tính của θ cho trước θ̂, với

Pr^{θ∈A∣θ^}=∑θi∈Awi/∑i=1Bwi;

(2. 15)

π̂(θ. θ̂) đại diện cho mật độ của phân phối này — về cơ bản là biểu đồ được làm mịn của 10.000 θi, có trọng số tương ứng với wi

Tích phân π̂(θ. θ̂) mang lại các giới hạn đáng tin cậy 95% ( 2½% xác suất sau ở mỗi đuôi)

θ0 ∈ (0. 095, 0. 748),

(2. 16)

gần với giới hạn chính xác (). Trước () được biết là mang lại xác suất bao phủ thường xuyên chính xác, là thành viên của gia đình Welch–Peers được thảo luận trong Phần 4

Trong trường hợp này, trọng số wi = πiRi có thể được coi là hiệu chỉnh mật độ bootstrap thô không trọng số (wi ≡ 1). Hình 2 hiển thị hiệu chỉnh dưới dạng dịch chuyển nhỏ sang trái. BCa, viết tắt của điều chỉnh sai lệch và tăng tốc, là một tập hợp trọng số điều chỉnh khác, thu được từ những cân nhắc thuần túy của người theo chủ nghĩa thường xuyên. Đặt Ĝ(θ) biểu thị hàm phân phối tích lũy theo kinh nghiệm thông thường (cdf) của các bản sao bootstrap θ1, θ2, …, θB, trọng số BCa trên θi là

wiBCa=ϕ(zθi/(1+azθi)-z0)(1+azθi)2ϕ(zθi+z0)[zθi=Φ-1G^(θi)-z0]

(2. 17)

trong đó ϕ và Φ là mật độ pháp tuyến tiêu chuẩn và cdf, trong khi z0 và a là các hằng số gia tốc và hiệu chỉnh sai lệch được phát triển trong và , được thảo luận thêm trong Phần 4 và. Giá trị ước tính của chúng là z0 = −0. 068 và a = 0 cho bài toán tương quan điểm của học sinh

Mật độ BCa πBCa(θ̂. θ), thu được bằng cách điều chỉnh lại trọng số như trong (), được thấy trong Hình 2 để hoàn toàn đồng ý với mật độ phía sau của Jeffreys, nặng hơn một chút ở đuôi bên trái . 074, 0. 748). Thỏa thuận này dễ gây hiểu lầm, như sẽ thấy trong bối cảnh đa chiều của Phần 4.

3 họ lũy thừa

Quá trình chuyển đổi Bayes/bootstrap có dạng đơn giản hóa trong các họ số mũ. Điều này tạo điều kiện thuận lợi cho ứng dụng của nó đối với các bài toán đa thông số, như đã thảo luận ở đây và trong hai phần tiếp theo

Các hàm mật độ cho họ hàm mũ tham số p

có thể được biểu diễn dưới dạng

fβ(β^)=eα′β^-ψ(α)f0(β^)

(3. 1)

trong đó p-vector α là tham số chính tắc, β̂ là vectơ thống kê đủ chiều p và trong đó ψ(α), hàm tạo lũy tích, cung cấp các bội số cần thiết để fβ(β̂) tích phân thành 1. Ở đây chúng tôi đã lập chỉ mục họ theo vectơ tham số kỳ vọng β,

β=Eα{β^}

(3. 2)

vì lợi ích của ký hiệu tiếp theo, nhưng α và β là các hàm đơn ánh và chúng ta cũng có thể viết fα(β̂)

Độ lệch giữa hai thành viên bất kỳ của

là

D(β1,β2)=2Eβ1{log(fβ1(β^)/fβ2(β^))}

(3. 3)

(ký hiệu tương đương là D(α1, α2) vì độ lệch không phụ thuộc vào tham số hóa của

. ) Việc đăng nhập () cho thấy rằng

D(β1, β2)/2 = (α1-α2)′β1 - (ψ(α1) - ψ(α2))

(3. 4)

Khi đó họ ( ) có thể được biểu diễn lại dưới dạng “Hoeffding’s” dưới dạng

fβ(β^)=fβ^(β^)e-D(β^,β)/2

(3. 5)

Vì D(β̂, β) bằng hoặc lớn hơn 0 nên () cho thấy β = β̂ là MLE, fβ(β̂) cực đại trên tất cả các lựa chọn của β trong

, .

Các bản sao bootstrap tham số của β̂ là các bản rút ra độc lập từ fβ̂(·),

fβ^(·)→β1,β2,…,βi,…,βB

(3. 6)

trong đó βi là ký hiệu viết tắt của β^i∗. Bắt đầu từ mật độ tiên nghiệm π(β) trên

, kỳ vọng sau của bất kỳ hàm nào t(β) cho trước β̂ được ước tính bởi

E^{t(β)∣β^}=∑i=1Bt(βi)π(βi)R(βi)/∑i=1Bπ(βi)R(βi)

(3. 7)

như trong (), với R(β) hệ số chuyển đổi

R(β)=fβ(β^)/fβ^(β)

(3. số 8)

Ghi chú. π(β)R(β) là biến đổi bất biến, vì vậy công thức () tạo ra kết quả số tương tự nếu chúng ta khởi động α1, α2, …, αB thay vì () hoặc đối với vấn đề đó, khởi động bất kỳ vectơ đủ nào khác. Xem Phần 4

Dạng của Hoeffding () cho phép biểu thức thuận tiện cho R(β)

bổ đề 1

Hệ số chuyển đổi () bằng

R(β) = ξ(β)eΔ(β)

(3. 9)

ở đâu

ξ(β)=fβ^(β^)/fβ(β)

(3. 10)

và

Δ(β)=[D(β,β^)-D(β^,β)]/2

(3. 11)

Đặt α̂ là vectơ tham số chính tắc tương ứng với β̂, () cho

Δ(β)=(α-α^)′(β+β^)-2[ψ(α)-ψ(α^)],

(3. 12)

hữu ích cho cả tính toán lý thuyết và số

Các đạo hàm của ϕ đối với các thành phần của α tạo ra các khoảnh khắc của β̂,

ψ. (α)≡(∂ψ/∂αj)=β,ψ¨(α)≡(∂2ψ/∂αj∂αk)=V(α)=covα{β^},

(3. 13)

và

ψ…(α)≡(∂3ψ/∂αj∂αk∂αl)=U(α),

(3. 14)

Ujkl(α) = Eα(β̂j − βj)(β̂k − βk)(β̂l − βl). Trong các tình huống lấy mẫu lặp lại, trong đó β̂ thu được từ n quan sát độc lập, các mục của V(α) và U(α) thường có thứ tự lần lượt là O(n−1) và O(n−2);

Xấp xỉ bình thường

β^∼. Np(β,V(α))

(3. 15)

sản lượng

fβ(β)≐(2π)-p/2∣V(α)∣-1/2andfβ^(β^)≐(2π)-p/2∣V(α^)∣-1/2,

(3. 16)

vì thế

ξ(β)≐∣V(α)∣1/2/∣V(α^)∣1/2

(3. 17)

Bởi vì () áp dụng định lý giới hạn trung tâm khi nó chính xác nhất, tại tâm, () thường sai số chỉ 1 + O(1/n) trong các tình huống lấy mẫu lặp lại; . Thực tế đối với các họ rời rạc như Poisson, trong đó fβ(β) không liên tục, phép xấp xỉ () mang lại hiệu suất vượt trội trong các ứng dụng của () đến (). Trong phần tiếp theo, chúng tôi sẽ coi () là chính xác hơn là gần đúng

Mật độ trước bất biến của Jeffreys, như được mô tả trong , có dạng

πJeff(β) = c∣V(α)∣-1/2

(3. 18)

trong họ (), với c là một hằng số dương tùy ý không ảnh hưởng đến các ước lượng chẳng hạn như (). Bỏ qua c, chúng ta có thể sử dụng ()–() để viết lại hệ số chuyển đổi R(β) () thành

R(β) = eΔ(β)/πJeff(β)

(3. 19)

Jeffreys trước được dự định là “không cung cấp thông tin. ” Giống như các mục tiêu khách quan khác được thảo luận trong Kass và Wasserman, nó được thiết kế để sử dụng Bayesian trong các tình huống thiếu kinh nghiệm trước đó. Công dụng của nó tương đương với việc chọn π+(β) bằng phẳng,

π(β)/πJeff(β) ≡ 1,

(3. 20)

trong trường hợp nào () có dạng đặc biệt đơn giản

bổ đề 2

Nếu π(β) là Jeffreys trước (), thì () bằng

E^{t(β)∣β^}=∑i=1Bt(βi)eΔ(βi)/∑i=1BeΔ(βi)

(3. 21)

với Δ(β) như trong ()–()

Mô hình dịch bình thường β̂~

(β, Σ), với Σ cố định, có Δ(β) = 0, do đó Bayes ước tính t̂in () bằng với bootstrap không trọng số

t^=E^{t(β)∣β^}=∑i=1Bti/B=t¯

(3. 22)

Thông thường, mặc dù t̂sẽ không bằng t̄, sự khác biệt liên quan đến tính khả biến của Δ(β) trong ()

Một kết quả đơn giản nhưng nhiều thông tin liên quan đến chênh lệch Bayes tương đối (RBD) của t(β) được xác định là

RBD(t)=(t^-t¯)/sd¯(t),

(3. 23)

sd¯(t)=[∑1B(ti-t¯)2/B]1/2

Bổ đề 3

Cho ri = πiRi, hiệu Bayes tương đối của t(β) là

RBD(t)=cor¯(t,r)·cv¯(r),

(3. 24)

và nếu π(β) = πJeff(β),

RBD(t)≐cor¯(t,r)·sd¯(Δ);

(3. 25)

ở đây cor¯(t,r) là mối tương quan theo kinh nghiệm giữa ti và ri đối với các bản sao bootstrap B, cv¯(r) hệ số biến thiên theo kinh nghiệm của các giá trị ri và sd¯(Δ) độ lệch chuẩn theo kinh nghiệm của Δi

Bằng chứng

() theo ngay sau từ (),

RBD(t)=∑1B(ti-t¯)ri/Bsd¯(t)∑1Bri/B=cor¯(t,r)sd¯(r)r¯

(3. 26)

Nếu π(β) là nghiệm trước của Jeffreys () thì r(β) = exp(Δ(β)) () và đối số phương thức delta thông thường cho cv¯(r)≐sd¯(Δ)

Ví dụ về điểm số của sinh viên trong Hình 2 (không ở dạng họ lũy thừa), trực tiếp từ định nghĩa (),

RBD(t)=0. 473-0. 4900. 169=-0. 101,

(3. 27)

cũng thu được từ () với cor¯(t,r)=-0. 945 và cv¯(r)=0. 108. Lưu ý rằng hệ số cv¯(r) trong (), và tương tự như vậy sd¯(Δ) trong (), áp dụng cho bất kỳ hàm nào t(β), chỉ hệ số cor¯(t,r) là cụ thể. Các ví dụ đa tham số của Phần 3 và 4 có cv¯(r) lớn hơn nhưng cor¯(t,r) nhỏ hơn, một lần nữa cho ra các giá trị RBD(t) khá nhỏ. Tất cả các ví dụ trước đây của Jeffreys trong bài báo này cho thấy sự thống nhất đáng kể giữa Bayes và kết quả bootstrap không trọng số

Về mặt tiệm cận, độ lệch Δ(β) phụ thuộc vào độ lệch của họ hàm mũ. Một họ dịch thông thường có độ lệch bằng 0, với Δ(β) = 0 và R(β) = 1, do đó, phân phối bootstrap tham số không trọng số giống như phân phối Bayes sau phẳng. Trong tình huống lấy mẫu lặp lại, độ lệch về 0 khi n−1/2, làm cho các bản phân phối Bayes và bootstrap hội tụ ở tốc độ này. Chúng ta có thể cung cấp một câu lệnh đơn giản trong các họ một tham số

Định lý 1

Trong họ hàm mũ một tham số, Δ(β) có xấp xỉ chuỗi Taylor

Δ(β)≐16γ^Z3[Z=V^-1/2(β-β^)]

(3. 28)

trong đó V̂và γ̂là phương sai và độ lệch của β ~ fβ̂(·). Trong các tình huống mẫu lớn, Z

(0, 1) và γ̂ là O(n−1/2), tạo thành Δ(β) có thứ tự Op(n−1/2).

(Bằng chứng xuất hiện trong , cùng với phiên bản đa tham số của định lý. )

Như một ví dụ đơn giản, giả sử

β^~βGamman/n[β∈(0,∞)],

(3. 29)

vì vậy β̂ là phiên bản thu nhỏ của biến Gamma tiêu chuẩn có n bậc tự do. Trong trường hợp này,

Δ(β)≐13nZ3vớiZ=n(ββ^-1),

(3. 30)

biến Δ(β) thành một hàm bậc ba tăng của β. Bản chất lập phương của () và () làm cho việc tái lập trọng số của các bản sao bootstrap tham số βi theo exp(Δi) ở các đuôi của phân phối trở nên cực đoan hơn so với gần β̂

Phát biểu mọi thứ dưới dạng kỳ vọng có điều kiện Ê{t(β). β̂} như trong () là thuận tiện, nhưng phần nào che khuất ý tưởng cơ bản. rằng phân phối đặt trọng số tỷ lệ với wi = πiRi trên βi gần đúng với phân phối sau π(β. b̂)

Để làm ví dụ về các phép tính Bayes tổng quát hơn, hãy xem xét “phân phối dự báo hậu nghiệm,”

g(y)=∫π(β∣β^)gβ(y)dβ

(3. 31)

trong đó y là tập dữ liệu gốc mang lại β̂; . b̂). Đối với mỗi βi, chúng tôi lấy mẫu yi∗∗ từ gβi(·). Sau đó, phân phối rời rạc đặt trọng số tỷ lệ với wi trên yi∗∗, với i = 1, 2, …, B, xấp xỉ g(y). Thấy

4 Gia đình bình thường đa biến

This section and the next illustrate Bayes/bootstrap relationships in two important exponential families. the multivariate normal and generalized linear models. A multivariate normal sample y comprises n independent d-dimensional normal vector observations

y. yi∼indNd(μ,∑)i=1,2,…,n

(4. 1)

This involves p = d · (d + 3)/2 unknown parameters, d for the mean vector μ and d · (d + 1)/2 for the covariance matrix Σ. We will use γ to denote the vector of all p parameters; γ is not the expectation vector β (), but rather a one-to-one quadratic function γ = m(β) described in formula () of

The results of Section 3 continue to hold under smooth one-to-one transformations γ = m(β). Let f̃γ(γ̂) denote the density of the MLE γ̂= m(β̂), and likewise R̃(γ) = f̃γ(γ̂)/f̃γ̂(γ) for the conversion factor, D̃(γ1, γ2) for the deviance, Δ̃(γ) = [D̃(γ, γ̂) − D̃(γ̂, γ)]/2 for the deviance difference, and π̃Jeff(γ) for Jeffreys prior. Then Lemma 1 continues to apply in the transformed coordinates

R∼(γ)=ξ∼(γ)eΔ∼(γ)[ξ∼(γ)=f∼γ^(γ^)/f∼γ(γ)]

(4. 2)

(See the . )

A parametric bootstrap sample

f∼γ(·)→γ1,γ2,…,γB

(4. 3)

approximates the conditional expectation of a function t̃(γ), starting from prior π̃(γ), by

E^{t∼(γ)∣γ^}=∑i=1Bt∼iπ∼iR∼i/∑i=1Bπ∼iR∼i

(4. 4)

as in (), and if π̃(γ) is Jeffreys prior,

E^{t∼(γ)∣γ^}=∑i=1Bt∼ieΔ∼i/∑i=1BeΔ∼i

(4. 5)

as in (). This can be particularly handy since Δ is tranformation invariant and can be evaluated in any convenient set of coordinates, while π̃Jeff(γ) need not be calculated at all

The following theorem provides ξ̃(γ) and R̃(γ) for a multivariate normal sample (), working with γ the p = d · (d + 3)/2 coordinates consisting of μ and the elements of Σ on or above its main diagonal

Theorem 2

In (μ, Σ) coordinates,

ξ∼(μ,∑)=(∣∑∣/∣∑^∣)d+22

(4. 6)

và

Δ∼(μ,∑)=n{(μ-μ^)′∑^-1-∑-12(μ-μ^)+tr(∑∑n-1-∑^∑-1)2+log∣∑^∣∣∑∣}

(4. 7)

(Proof in the . )

Here 1/ξ̃(μ, Σ) turns out to be exactly proportional to . Ṽ(γ). −1/2, and either expression gives π̃Jeff(μ, Σ). Expression () equals the deviance difference (), no matter what the choice of coordinates

Theorem 2 makes it easy to carry out parametric bootstrapping. having calculated the usual MLE estimates (μ̂, Σ̂), each bootstrap data set y* is generated as in (),

y∗. yi∗~Nd(μ^,∑^),i=1,2,…,n,

(4. 8)

from which we calculate the bootstrap MLE estimate (μ̂*, Σ̂*), denoted simply (μ, Σ) as before. To each of B such replicates

(μ,∑)1, (μ,∑)2, …, (μ,∑)i, …, (μ,∑)B

(4. 9)

is attached the weight

wi=π∼iξ∼ieΔ∼i,

(4. 10)

using Theorem 2 (or more exactly wi/∑1Bwj); this distribution, supported on the B points (), estimates the posterior distribution of (μ, Σ) given (μ̂, Σ̂). Expectations are then obtained as in (), and similarly for more general posterior parameters such as percentiles and credible limits

Figure 3 applies this methodology to the student score data of Table 1 , assuming the bi-variate normal model (). We take the parameter of interest θ to be the eigenratio

Mở trong cửa sổ riêng

Figure 3

Heavy curve is Bayes posterior density for the eigenratio (), starting from Jeffreys prior for a bivariate normal model; solid triangles show 95% credible limits (0. 650, 0. 908). Beaded curve is BCa confidence density based on weights () with z0 = −0. 222, a = 0; BCa 95% interval (0. 598, 0. 890), open triangles, is shifted far leftward. Light dashed curve is unweighted bootstrap density

θ = t(μ, ∑) = λ1/(λ1 + λ2)

(4. 11)

where λ1 and λ2 are the ordered eigenvalues of Σ; θ has MLE θ̂= t(μ̂, Σ̂) = 0. 793

B = 10,000 bootstrap replications were generated as in (), and ti = t((μ, Σ)i) calculated for each. Total computation time was about 30 seconds. The heavy curve shows the estimated posterior density of θ given (μ̂, Σ̂), starting from Jeffreys prior. The 95% credible region, 2½% probability excluded in each tail, was

Bayes. θ ∈ (0. 650, 0. 908)

(4. 12)

Đó là,

∑ti≤0. 650eΔ∼i/∑1BeΔ∼i=0. 025,

(4. 13)

và tương tự cho điểm cuối trên

Trong trường hợp này, giới hạn độ tin cậy 95% của BCa được dịch chuyển mạnh sang trái so với (),

BCa. θ ∈ (0. 598, 0. 890)

(4. 14)

Đường cong dạng hạt trong Hình 3 cho thấy toàn bộ mật độ tin cậy BCa, i. e. , mật độ ước tính dựa trên trọng số BCa ( ). Đối với tỷ lệ riêng, z0 = −0. 222 và a = 0 là hằng số hiệu chỉnh sai lệch và gia tốc. Xem phần thảo luận ngắn gọn về z0 và tính toán.

Hình 4 giúp giải thích sự khác biệt giữa kết quả Bayes và BCa. Đường cong nặng cho thấy trọng số BCa ( ) tăng mạnh về bên trái như một hàm của θi = t((μ, Σ)i), các giá trị tỷ lệ tự khởi động. Nói cách khác, các giá trị nhỏ hơn của θi có trọng số lớn hơn, kéo các điểm phần trăm có trọng số của phân bố BCa xuống dưới. Mặt khác, các trọng số Bayes π∼iJeffR∼i=exp(Δ∼i) (được biểu thị trong Hình 4 theo hồi quy của chúng trên θi) là . Figure 3.

Mở trong cửa sổ riêng

hinh 4

Đường cong rắn BCa trọng số ( ), với (z0, a) = (−0. 222, 0), các bản sao được vẽ biểu đồ so với các bản sao tỷ lệ tự khởi động θi. đường cong nét đứt. hồi quy của Jeffreys trước trọng số Bayes exp(Δ̃i) trên θλ

Các giới hạn BCa được biết là mang lại xác suất bao phủ chính xác cao; . Hơn nữa, trong trường hợp tỷ lệ riêng, MLE θ̂ có xu hướng hướng lên trên, cho thấy sự dịch chuyển xuống đối với các giới hạn tin cậy. Điều này dẫn đến một khiếu nại quen thuộc chống lại các linh mục của Jeffrey, được thảo luận rộng rãi trong. rằng trong cài đặt đa thông số, họ có thể đưa ra kết luận không chính xác cho các thông số quan tâm riêng lẻ

Đây có thể là trường hợp đối với bất kỳ công thức có mục đích chung nào để chọn phân phối ưu tiên khách quan theo một số chiều. Chẳng hạn, lặp lại phân tích tỷ lệ riêng với một Wishart nghịch đảo chuẩn trước Σ (ma trận hiệp phương sai I, bậc tự do 2) và một giá trị phẳng trước μ cho kết quả về cơ bản giống như trong Hình 3< . Các tham số quan tâm cụ thể yêu cầu các linh nghiệm được điều chỉnh cụ thể, như với linh hồn tham chiếu của Bernardo–Berger, một lần nữa được xem xét độc đáo bởi. . Specific parameters of interest require specifically tailored priors, as with the Bernardo–Berger reference priors, again nicely reviewed by .

Trên thực tế, các trọng số BCa có thể được coi là cung cấp khả năng điều chỉnh như vậy. xác định BCa trước (so với phân phối bootstrap không trọng số) là

πiBCa=wiBCa/Ri

(4. 15)

với wiBCa như trong (). Điều này làm cho các trọng số sau πiBCaRi xuất hiện trong các biểu thức như () bằng với trọng số BCa wiBCa và tạo ra các giới hạn đáng tin cậy sau dựa trên các giới hạn BCa bằng nhau trước πBCa. Công thức () có thể được coi là một công cụ tự động để xây dựng “các tiên nghiệm phù hợp với xác suất”;

Importance sampling methods such as () can suffer from excessive variability due to occasional large values of the weights. Công thức “độ chính xác bên trong” () sẽ đưa ra cảnh báo về các vấn đề về số. Có sẵn nhiều chiến thuật phản công hữu ích, bắt đầu bằng việc cắt ngắn đơn giản trọng lượng lớn nhất

Các biến thể trong sơ đồ lấy mẫu bootstrap tham số có thể được sử dụng. Ví dụ, thay vì (), chúng ta có thể nhận được β1, β2, …, βB từ

βi∼indNp(μ^β,h(∑^β)),

(4. 16)

trong đó μ̂β và Σ̂β là giá trị trung bình và hiệp phương sai quan sát được của β từ một mẫu fβ̂(·) sơ bộ. Ở đây h(Σ̂β) biểu thị sự mở rộng của Σ̂β được thiết kế để mở rộng phạm vi phân phối bootstrap, do đó giảm trọng số lấy mẫu quan trọng. Ví dụ: nếu phân tích hồi quy của mẫu sơ bộ cho thấy các trọng số tăng theo hướng υ trong không gian β, thì h(Σ̂β) có thể mở rộng Σ̂β theo hướng υ. Các thiết bị như thế này trở nên cần thiết hơn trong các tình huống có nhiều chiều hơn, trong đó độ biến thiên cực lớn của hệ số chuyển đổi R(βi) có thể làm mất ổn định các tính toán lấy mẫu quan trọng của chúng tôi

Việc thay thế () bằng () sẽ thay đổi hệ số chuyển đổi R(β) (), nhưng theo cách có thể tính toán dễ dàng. Trên thực tế, việc thay thế () bằng βi ~

(μ̂β, Σ̂β) giúp tính toán R(β) dễ dàng hơn trong các trường hợp không có công thức đơn giản cho mật độ bootstrap fβ̂(β).

5 Generalized linear models

The Bayes/bootstrap conversion theory of Section 3 applies directly to generalized linear models (GLM). Một GLM bắt đầu với họ hàm mũ một tham số

gη(y) = eηy-φ(η)g0(y)

(5. 1)

trong đó η = α, y = β̂ và φ(η) = ψ(α) theo ký hiệu (). Một ma trận cấu trúc n × p X và một vectơ tham số p chiều α sau đó tạo ra một vectơ n η = Xα, với mỗi mục ηj quản lý một quan sát độc lập yj,

yj∼indgηj(·)forj=1,2,…,n

(5. 2)

Tất cả điều này dẫn đến một họ mũ tham số p ( ), với vectơ tham số chính tắc α. Gọi μ là vectơ kỳ vọng của y = (y1, …, yn)′,

μ = Eα{y},

(5. 3)

các mục khác của () là

β^=X′y,β=X′μ,vàψ(α)=∑i=1nφ(xjα)

(5. 4)

trong đó xj là hàng thứ j của X. Hiệu số lệch Δ(β) ( ) có dạng đơn giản,

Δ(β)=(α-α^)′(β+β^)-2∑j=1n[φ(xjα)-φ(xjα^)]=(η-η^)′(μ+μ^)

(5. 5)

(α̂the MLE của α, η̂= Xα̂, và μ̂vectơ kỳ vọng (5. 3) tương ứng với α = α̂) theo ()

Như một ví dụ mở rộng, bây giờ chúng ta xem xét một thử nghiệm microarray được thảo luận trong, Phần 2. 1. 102 men, 50 healthy controls and 52 prostate cancer patients, have each had the activity of N = 6033 genes measured (). Thử nghiệm hai mẫu so sánh bệnh nhân với nhóm chứng đã được thực hiện cho từng gen, thu được giá trị z zk, i. e. , một thống kê kiểm định có phân phối chuẩn chuẩn dưới H0k, giả thuyết vô hiệu về việc không có sự khác biệt giữa bệnh nhân/đối chứng đối với gen k,

h0k. zk~𝒩(0, 1)

(5. 6)

Tất nhiên, các nhà thí nghiệm quan tâm đến việc xác định các gen không null

Figure 5 shows a histogram of the N z-values. The standard normal curve is too high in the center and too low in the tails, suggesting that at least some of the genes are non-null. Đường cong phù hợp hơn “Mô hình 4” phù hợp với họ hồi quy Poisson được thảo luận tiếp theo.

Mở trong cửa sổ riêng

Hình 5

Biểu đồ của giá trị z N = 6033 từ nghiên cứu ung thư tuyến tiền liệt,. Đường cong pháp tuyến chuẩn (nét đứt) quá cao ở tâm và quá thấp ở đuôi. “Model 4,” solid curve, is the fit from a fourth-degree polynomial Poisson regression

Có J = 49 thùng cho biểu đồ, mỗi thùng có chiều rộng 0. 2, with centers xj ranging from −4. 4 đến 5. 2. Đặt yj là số giá trị zk trong thùng thứ j,

yj = #{zk ∈ bin j} j = 1, 2, …, J = 49

(5. 7)

Chúng ta sẽ giả định rằng yj là các quan sát Poisson độc lập, mỗi quan sát có kỳ vọng riêng μj,

yj∼indPoi(μj)j=1,2,…,J,

(5. 8)

và sau đó khớp các đường cong với biểu đồ bằng hồi quy Poisson. Why this might be appropriate is discussed at length in , but here we will just take it as a helpful example of the Bayes/bootstrap GLM modeling theory

We consider Poisson regression models where the canonical parameters ηj = log(μj) are mth- degree polynomial functions of the bin centers xj, evaluated by glm(y~poly(x, m), Poisson) in the language R. Đây là GLM với họ Poisson, ηj = log μj, trong đó X là ma trận J × (m + 1) có các hàng xj=(1,xj,xj2,…,xjm) với j = 1, 2, …, . For the Poisson distribution, φ(η) = μ in (). Hàm chênh lệch độ lệch () trở thành

Δ(β)=(η-η^)′(μ+μ^)-2·1′(μ-μ^),

(5. 9)

1 một vectơ của J cái

Gọi “Mm” là mô hình hồi quy đa thức Poisson bậc m. M2, với log(μj) bậc hai trong xj, tương đương với một mô hình tỷ lệ vị trí bình thường cho mật độ biên của zk's. Các mô hình bậc cao linh hoạt hơn. M4, the quartic model, provided the heavy fitted curve in Figure 5 . Bảng 2 cho thấy độ lệch Poisson đối với các mô hình được trang bị từ M2 đến M8. Sự sụt giảm đáng kể xảy ra giữa M3 và M4, nhưng chỉ có sự thay đổi chậm xảy ra sau đó. The AIC criterion for model m,

Table 2

Độ lệch từ các mô hình hồi quy đa thức Poisson cho số lượng (), dữ liệu tuyến tiền liệt; . Boot % shows the proportion of each model selected in B = 4000 bootstrap replications of the AIC criterion, bootstrapping from M8. Bayes% là tỷ lệ Bayes sau có trọng số, giả sử Jeffreys trước. The St Error column is obtained from the bootstrap-after-bootstrap calculations of Section 6

ModelDevianceAICBoot %Bayes %(St Error)M2138. 6144. 60%0%(0%)M3137. 1145. 10%0%(0%)M465. 375. 332%36%(20%)M564. 376. 310%12%(14%)M663. 877. 85%5%(8%)M763. 879. 81%2%(6%)M859. 677. 651%45%(27%)

Mở trong cửa sổ riêng

AIC(m) = Deviance + 2 · (m + 1)

(5. 10)

is minimized at M4, though none of the subsequent models do much worse. Sự phù hợp từ M4 đã tạo ra đường cong “Mô hình 4” trong Hình 5 .

Các mẫu bootstrap tham số y* được tạo từ M4, như trong (),

yj∗∼indPoi(μ^j)forj=1,2,…,J

(5. 11)

với μ̂j các giá trị MLE từ M4. B = 4000 such samples were generated, and for each one the MLE α̂*, and also β̂* (), were obtained from the R call glm(y* ~poly(x,4), poisson). Using the simplified notation α = α̂* gives bootstrap vectors η = Xα, μ = exp(η) = (exp(ηj)), β = X′μ, where X is the 49 × 5 matrix poly(x,4), and finally Δ(β) as in (). (Lưu ý rằng β đại diện cho β̂* ở đây, không phải “giá trị thực” β của (5. 4). )

The reweighted bootstrap distribution, with weights proportional to

wi = eΔi trên βi với i = 1, 2, …, B = 4000,

(5. 12)

ước tính phân phối sau của β cho trước βi, bắt đầu từ Jeffreys trước đó. The posterior expectation of any parameter θ = t(β) is estimated by Σ witi/Σ wi as in ()

We will focus attention on a false discovery rate (Fdr) parameter θ,

θ(z) = Fdr(z) = [1 - Φ(z)]/[1 - F(z)]

(5. 13)

where Φ is the standard normal cdf and F(z) is the cdf of the Poisson regression model. in terms of the discretized situation (),

F(z)=∑xj≤zμj/∑1Jμj

(5. 14)

(với hiệu chỉnh “đếm một nửa” tại z = xj). Fdr(z) ước tính xác suất mà một gen có zk vượt quá giá trị cố định z là khác null, ví dụ như đã thảo luận trong

Figure 6 concerns the choice z = 3. Using quartic model M4 to estimate the μj’s in () yields point estimate

Mở trong cửa sổ riêng

Figure 6

Posterior densities for θ = Fdr(3) (), prostate data, based on B = 4000 parametric bootstrap replications () from the fourth-degree Poisson regression model M4. Solid curve Jeffreys Bayes posterior density, using (); heavy dashed curve BCa confidence density (). Both give 95% interval θ ∈ (−0. 154, −0. 241). Light dashed curve is unweighted bootstrap density. Tổng thời gian tính toán khoảng 30 giây

θ^=Fdr^(3)=0. 192

(5. 15)

Giá trị Fdr gần bằng 0. 2 nằm trong phạm vi "thú vị" trong đó gen có thể được báo cáo là khác null, điều quan trọng là phải biết độ chính xác của ()

B = 4000 mẫu bootstrap cho M4 () tạo ra các bản sao bootstrap θ1, θ2, …, θB. Độ lệch chuẩn của chúng là ước tính bootstrap của lỗi chuẩn cho θ̂, se^=0. 024, do đó, một phân tích Bayes theo kinh nghiệm điển hình có thể báo cáo Fdr^(3)=0. 0192±0. 024. Phân tích của Jeffreys Bayes đưa ra mật độ phía sau đầy đủ của θ được thể hiện bằng đường cong liền nét trong Hình 6 , với khoảng tin cậy 95%

M4. θ ∈ (0. 154, 0. 241)

(5. 16)

In this case the BCa density () ((z0, a) = (−0. 047, −0. 026)) gần giống như ước tính của Bayes, cả hai đều nằm hơi lệch về bên trái mật độ bootstrap không trọng số

Việc lựa chọn triết học, Jeffreys Bayes hay người thường xuyên BCa, không tạo ra nhiều khác biệt ở đây, nhưng việc lựa chọn mô hình thì có. Lặp lại phân tích bằng M8 thay vì M4 để tạo mẫu bootstrap () làm giảm đáng kể ước tính. Hình 7 so sánh biểu đồ bootstrap;

Mở trong cửa sổ riêng

Hình 7

B = 4000 bản sao bootstrap tham số của Fdr(3) từ M8 (biểu đồ khối) so với các bản sao từ M4 (biểu đồ đường). Hình tam giác khép kín biểu thị giới hạn đáng tin cậy 95% M8 (0. 141, 0. 239); . 154, 0. 241)

M8. θ ∈ (0. 141, 0. 239)

(5. 17)

Tính toán AIC được thực hiện cho từng mẫu trong số 4000 mẫu bootstrap M8. Trong số này, 32% chọn M4 làm công cụ thu nhỏ, so với 51% chọn M8, như thể hiện trong cột % Khởi động của Bảng 2 . Trọng số của từng mẫu tương ứng với exp(Δi) () đã thu hẹp sự khác biệt xuống 36% so với 45%, nhưng vẫn có xu hướng mạnh về M8.

It might be feared that M8 is simply justifying itself. Tuy nhiên, quá trình khởi động không theo tham số tiêu chuẩn (lấy mẫu lại các giá trị N zk), đã cho tỷ lệ phần trăm Khởi động cao hơn một chút,

30%(M4), 9%(M5), 4%(M6), 2%(M7), 54%(M8)

(5. 18)

Thực tế là việc lựa chọn mô hình dựa trên dữ liệu ở đây khá không ổn định, vì các tính toán chính xác của Phần 6 sẽ xác minh

6 Độ chính xác

Hai khía cạnh về độ chính xác ước tính Bayes của phương pháp của chúng tôi được xem xét trong phần này. độ chính xác bên trong, lỗi lấy mẫu bootstrap trong các ước tính như () (i. e. , chúng tôi cần thực hiện bao nhiêu bản sao bootstrap B?) và độ chính xác bên ngoài, lỗi lấy mẫu thống kê, chẳng hạn như kết quả trong Hình 3 sẽ thay đổi như thế nào đối với . i. d. bản chất (độc lập và phân phối giống hệt nhau) của lấy mẫu bootstrap làm cho cả hai câu hỏi đều dễ trả lời.

Độ chính xác bên trong đặc biệt đơn giản, Ước tính () cho Ê{t(β). β̂} có thể được biểu thị dưới dạng si = tiπiRi và ri = πiRi dưới dạng

E^=s¯/r¯(s¯=∑1Bsi/B,r¯=∑1Bri/B)

(6. 1)

Gọi cov¯ là ma trận hiệp phương sai thực nghiệm 2 × 2 của các vectơ B(si, ri). Sau đó, các phép tính theo phương pháp delta tiêu chuẩn mang lại một xấp xỉ quen thuộc cho hệ số biến thiên bootstrap của Ê,

cv^2=1B(c¯sss¯2-2c¯srs¯r¯+c¯rrr¯2)

(6. 2)

where c̄ss, c̄sr, and c̄rr are the elements of cov¯

The Jeffreys Bayes estimate for eigenratio () was Ê = 0. 799 (gần giống với MLE 0. 793). Formula () gave cv^=0. 002, indicating that Ê nearly equaled the exact Bayes estimate E{t(β). β̂}. B = 10.000 chắc chắn là quá mức. Các tham số sau ngoài kỳ vọng được xử lý bằng các xấp xỉ phương pháp delta nổi tiếng khác. Ghi chú. Các tham số không liên tục, chẳng hạn như chỉ báo của tham số θ nhỏ hơn một số giá trị θ0, có xu hướng có giá trị cv^ cao hơn

Khi có liên quan đến độ chính xác bên ngoài, bootstrap tham số có thể được sử dụng để đánh giá lỗi lấy mẫu của chính nó, một kỹ thuật “bootstrap-after-bootstrap” theo thuật ngữ của. Giả sử chúng ta đã tính một số ước lượng sau Bayes Q̂= Q(β̂), ví dụ Ê hoặc giới hạn đáng tin cậy, và băn khoăn về sai số chuẩn lấy mẫu của nó, i. e. , biến thiên thường xuyên của nó. As an answer, we sample K more times from fβ̂(·),

fβ^(·)→γ^1,γ^2,…,γ^K

(6. 3)

trong đó ký hiệu γ nhấn mạnh rằng các bản sao này khác với β1, β2, …, βB trong (), các bản sao ban đầu được sử dụng để tính Q̂. Đặt Q̂k = Q(γ̂k), ước tính lỗi tiêu chuẩn bootstrap thông thường cho Q̂is

se^(Q^)=[∑k=1K(Q^k-Q^. )2/(K-1)]1/2,

(6. 4)

Q̂· = Σ Q̂k/K. K = 200 thường đủ để ước tính hợp lý se(Q̂); . 2 trong số

Công thức này có vẻ khó khăn vì mỗi Q̂k yêu cầu bản sao bootstrap B để đánh giá. Happily, a simple reweighting scheme on the original B replications finesses all that computation. Define

Wki=fβi(γ^k)/fβi(β^)

(6. 5)

bổ đề 4

Nếu Q̂ là kỳ vọng sau Ê = Σ tiπiRi/Σ πiRi, thì ước lượng lấy mẫu quan trọng của Q̂k là

Q^k=∑i=1BtiπiRiWki/∑i=1BπiRiWki;

(6. 6)

đối với các đại lượng chung Q̂, việc đặt lại trọng số βi theo tỷ lệ với πiRiWi sẽ cho Q̂k

Việc chứng minh bổ đề 4 ngay sau

RiWki=fβi(γ^k)/fβ^(βi),

(6. 7)

đó là hệ số lấy mẫu quan trọng chính xác để chuyển đổi mẫu fβ̂(β) thành khả năng fβ(γ̂k). Ghi chú. Công thức () gây thêm căng thẳng cho phương pháp lấy mẫu quan trọng của chúng tôi và cần được kiểm tra độ chính xác bên trong, như trong ()

Công thức () không yêu cầu tính toán mới của t(β), π(β) hoặc R(β) và trong các họ số mũ, hệ số Wki được tính dễ dàng

Wki=e(αi-α^)′(γ^k-β^)

(6. 8)

trong đó αi là vectơ chính tắc trong ( ) tương ứng với βi. Điều này thường làm cho việc tính toán lỗi tiêu chuẩn bootstrap-after-bootstrap () ít hơn nhiều so với mức cần thiết ban đầu cho Q̂. (Formula () is invariant under smooth transformations of β, and so Wki can be calculated directly in other coordinate systems as a ratio of densities. )

Việc sử dụng () nổi bật xuất hiện trong hai cột cuối của Bảng 2 , Phần 5. Let t4(βi) be the indicator function of whether or not Model 4 minimized AIC for the ith bootstrap replication. Ê{t4(β). β̂} = 0. 36 theo cột Bayes %. However, its bootstrap-after-bootstrap standard error estimate was se^=0. 20, với các sai số chuẩn lớn tương tự đối với các xác suất lựa chọn mô hình khác. Từ quan điểm của người theo chủ nghĩa thường xuyên, việc lựa chọn mô hình dựa trên dữ liệu sẽ là một công việc rất không chắc chắn ở đây.

Frequentist assessment of objective Bayes procedures has been advocated in the literature, for example in and , but seems to be followed most often in the breach. Phương pháp ở đây có thể hữu ích để đưa một lưu ý thận trọng của người thường xuyên vào phân tích dữ liệu Bayes dựa trên các ưu tiên thuận tiện

Nếu tập dữ liệu ban đầu của chúng tôi y bao gồm n i. i. d. vectors yi, as in Table 1 , we can jackknife instead of bootstrapping the γ̂k’s. Bây giờ γ̂k được tính toán lại từ tập dữ liệu y(i) đã loại bỏ yi cho k = 1, 2, …, n. Các công thức ()–() vẫn giữ nguyên, mang lại kết quả

se^jack=[n-1n∑k=1n(Q^k-Q^. )2]1/2

(6. 9)

Một lợi thế của việc lấy mẫu lại bằng jackknife là các giá trị γ̂k nằm gần hơn với β̂, làm cho Wki gần hơn với 1 và ít gây căng thẳng hơn cho công thức lấy mẫu quan trọng ()

7 Tóm tắt

Các điểm chính được thực hiện bởi lý thuyết và ví dụ của các phần trước như sau

• Phân phối bootstrap tham số là điểm khởi đầu thuận lợi để tính toán lấy mẫu quan trọng của các phân phối sau Bayes (như trong Hình 2 ).

• Tính toán này được thực hiện bằng cách tính lại các bản sao bootstrap thay vì vẽ các quan sát trực tiếp từ phân phối sau như với MCMC (các công thức (), ())

• Các trọng số cần thiết dễ dàng được tính toán trong các họ số mũ cho bất kỳ phần trước nào, nhưng đặc biệt đơn giản bắt đầu từ phần trước bất biến của Jeffreys, trong trường hợp đó, chúng chỉ phụ thuộc vào độ lệch Δ(β) (()–(), (), (),

• Độ lệch phụ thuộc tiệm cận vào độ lệch của họ, có dạng bình phương bậc ba ( )

• Trong các ví dụ của chúng tôi, phân phối sau mang lại trước đây của Jeffreys không khác nhiều so với phân phối bootstrap không trọng số. Điều này có thể không thỏa đáng đối với các tham số quan tâm đơn lẻ trong các họ đa tham số ( Hình 3 ).

• Các tiên nghiệm không cung cấp thông tin tốt hơn, chẳng hạn như họ Welch–Peers hoặc các tiên nghiệm tham chiếu, có liên quan chặt chẽ với công thức tính lại trọng số BCa thường xuyên ((), Hình 2, Figure 6).

• bởi vì tôi. i. d. bản chất của việc lấy mẫu lại bootstrap, các công thức đơn giản tồn tại cho độ chính xác của các tính toán sau như là một hàm của số B của các bản sao bootstrap. (Các phương pháp lấy mẫu quan trọng có thể không ổn định, do đó, các phép tính độ chính xác bên trong, như được đề xuất sau đây (), được thúc đẩy. ) Ngay cả khi có quá nhiều lựa chọn B, thời gian tính toán được tính bằng giây cho các ví dụ của chúng tôi ()

• Một thuật toán bootstrap cấp hai hiệu quả (“bootstrap-after-bootstrap”) cung cấp các ước tính về độ chính xác thường xuyên của các suy luận Bayes (()–())

• Điều này có thể quan trọng trong việc đánh giá các suy luận dựa trên các công thức tiên nghiệm, chẳng hạn như của Jeffreys, thay vì dựa trên kinh nghiệm thực tế trước đó (cột cuối cùng, Bảng 2 of Section 5).

Phụ lục

Phép biến đổi tọa độ

Gọi J(β) là Jacobian của phép biến đổi γ = m(β), nghĩa là giá trị tuyệt đối của định thức của ma trận Hessian (∂βi/∂γj). Khi đó f̃γ(γ̂) = fβ(β̂)J(β̂) cho

ξ∼(γ)=fβ^(β^)J(β^)fβ(β)J(β)=ξ(β)J(β^)J(β)

(MỘT. 1)

trong va

R∼(γ)=f∼γ(γ^)f∼γ^(γ)=fβ(β^)fβ^(β)J(β^)J(β)=R(β)J(β^)

(MỘT. 2)

do Δ̃(γ) = Δ(β) bởi phép biến đổi bất biến của độ lệch

Đối với bất kỳ mật độ trước nào π(β) chúng ta có π̃(γ) = π(β)J(β) và

π∼(γ)R∼(γ)=π(β)J(β)R(β)J(β^)/J(β)=J(β^)π(β)R(β)

(MỘT. 3)

J(β̂) hoạt động như một hằng số trong (), chứng tỏ rằng () đồng nhất với (). Điều này cũng áp dụng cho Jeffreys trước đó, π̃Jeff(γ), mà theo thiết kế là bất biến chuyển đổi, mang lại ()

Định lý 1

Trong họ hàm mũ một tham số, ()–() cho

ψ(α)-ψ(α^)≐β^dα+V^(dα)2/2+U^(dα)3/6

(MỘT. 4)

và

β-β^≐V^dα+U^(dα)2/2

(MỘT. 5)

trong đó dα = α − α̂, V̂= V(α̂) và Û = U(α̂). Biểu thức () cho Δ có thể được viết là

Δ=(β-β^)dα+2[β^dα-(ψ-ψ^)]

(MỘT. 6)

Áp dụng ()–() rút gọn () thành

Δ≐16U^(dα)3=16γ^[V^12(α-α^)]3≐16γ^[V^-12(β-β^)]3=16γ^Z3

(MỘT. 7)

với γ̂= Û/V̂3/2 độ lệch, dòng cuối cùng tiếp theo từ Z ≡ V̂−1/2(β − β̂) ≐ V̂1/2 (α − α̂) (). Lý thuyết họ mũ tiêu chuẩn cho thấy Z →

(0, 1) khi lấy mẫu lặp lại, xác minh định lý (hãy nhớ rằng các tiệm cận ở đây dành cho β ~ fβ̂(·), với β̂ cố định). Độ lệch γ̂ khi đó là O(n−1/2), tạo thành Δ có thứ tự Op(n−1/2). Số hạng còn thiếu đầu tiên trong khai triển Taylor () cho Δ là δ̂Z4/12, δ̂độ nhọn, và có thứ tự Op(n−1).

Phiên bản đa tham số của Định lý 1 bắt đầu bằng cách xem xét một họ con một tham số của () hiện được lập chỉ mục bởi α thay vì β,

fa(v)(β^)=fα^+av(β^)=e(α^+av)′β^-ψ(α^+av)f0(β^)

(MỘT. số 8)

trong đó υ là một số vectơ cố định trong ℝ p; . Sự khác biệt về độ lệch trong fa(v) là

Δ(v)(a)=Δ(α^+av)

(A. 9)

vì độ lệch hoàn toàn được xác định bởi hai mật độ liên quan

Các số hạng họ mũ () cho họ fa(v)(·) là

α(v)=a,β^(v)=v′β^,β(v)=v′β,V^(v)=v′V^v,vàU^(v)=∑j=1p∑

(MỘT. 10)

cho độ lệch γ̂(υ) = Û(υ)/V̂(υ)3/2. Áp dụng kết quả một chiều cho

Δ(α^+av)≐16γ^(v)Z(v)3vớiZ(v)=v′(β-β^)(v′V^v)1/2

(MỘT. 11)

Vì υ có thể là bất kỳ vectơ nào, nên () mô tả dạng tiệm cận của Δ(·) trong lân cận của α̂

Theorem 2

Đối với một lần quan sát y ~

(μ, Σ), đặt f1 và f2 biểu thị mật độ của nó theo (μ1, Σ1) và (μ2, Σ2), tương ứng. Sau đó

2logf1(y)f2(y)=log∣∑1∣∣∑2∣+(y-μ2)′∑2(y-μ2)-(y-μ1)′∑1(y-μ1)

(MỘT. 12)

Nhưng nếu y ~

(μ1, Σ1),

Ef1{(y-μ2)′∑2-1(y-μ2)}=(μ2-μ1)′∑2-1(μ2-μ1)+tr∑1∑2-1

(MỘT. 13)

trong khi Ef1{(y-μ1)′∑1-1(y-μ1)}=d. Lấy kỳ vọng f1 của () sẽ cho độ lệch

D((μ1,∑1),(μ2,∑2))=log∣∑2∣/∣∑1∣+(μ2-μ1)′∑2-1(μ2-μ1)+tr∑1∑2-

(MỘT. 14)

đối với cỡ mẫu n = 1. Sự khác biệt về độ lệch cho kích thước mẫu n

Δ=n2{D((μ,∑),(μ^,∑^))-D((μ^,∑^),(μ,∑))}

(MỘT. 15)

sau đó được coi là bằng ()

Mật độ của (μ̂, Σ̂) từ một

(μ, Σ) mẫu cỡ n tỷ lệ thuận với

{∣∑∣-12e-n2(μ^-μ)′∑-1(μ^-μ)}{∣∑^∣n-d-22e-n2tr∑-1∑^/∣∑∣n-12},

(MỘT. 16)

năng suất ()

Trọng lượng BCa

Hệ thống BCa của khoảng tin cậy bootstrap chính xác bậc hai đã được giới thiệu trong (Sect. 2 đưa ra một cái nhìn tổng quan về ý tưởng cơ bản), và trình bày lại ở dạng trọng số () trong. Hằng số hiệu chỉnh sai lệch z0 được lấy trực tiếp từ MLE θ̂và bản sao bootstrap θ1, θ2, …, θB theo

z0=Φ-1(#{θi≤θ^}/B)

(MỘT. 17)

thảo luận về thuật toán “ABC” để tính a, hằng số gia tốc. Chương trình abc2 có sẵn trong phần bổ sung cho bài viết này. Nó rất nhanh và chính xác, nhưng yêu cầu lập trình riêng cho từng họ số mũ. Một chương trình R sử dụng nhiều máy tính hơn, accel, hoạt động trực tiếp từ các bản sao bootstrap (βi, ti) (như trong ()–()) cũng có sẵn trong phần bổ sung

Bảng 3 hiển thị z0 và a cho ba ví dụ chính của chúng tôi. Lưu ý hiệu chỉnh sai lệch đặc biệt lớn cần thiết cho tỷ lệ riêng.

bàn số 3

Hằng số BCa z0 và a cho ba ví dụ của chúng ta

θ̂z0tương quan sinh viên. 498−. 0690tỷ lệ bản địa sinh viên. 793−. 2220dữ liệu tuyến tiền liệt Fdr(3). 192−. 047−. 026

Mở trong cửa sổ riêng

chú thích

1Đối với ví dụ này, chúng tôi giảm vấn đề thành việc tìm phân phối sau của θ đã cho θ̂, bỏ qua mọi thông tin về θ trong phần (μ̂, Σ̂) trực giao với θ̂. Các ví dụ tiếp theo của chúng tôi không làm giảm như vậy

Phương pháp Bayesian có nghĩa là gì?

Là bootstrap thường xuyên hoặc Bayesian?

Mục đích của Bayesian là gì?

Bayesian hoạt động như thế nào?