免費(fèi)問(wèn)答

外調(diào)法（out-of-sample estimation）是一種評(píng)估模型預(yù)測(cè)準(zhǔn)確率的方法，通過(guò)將學(xué)習(xí)算法拿去預(yù)測(cè)未曾遇到過(guò)的數(shù)據(jù)，來(lái)估算建模誤差。它允許預(yù)測(cè)模型預(yù)測(cè)準(zhǔn)確度的評(píng)估，無(wú)論是基于訓(xùn)練數(shù)據(jù)還是利用未曾遇到過(guò)的數(shù)據(jù)。外調(diào)法更能反映機(jī)器學(xué)習(xí)算法的真實(shí)表現(xiàn)，從而給出一個(gè)更精確的估計(jì)。 外調(diào)法的本質(zhì)是使用測(cè)試數(shù)據(jù)集來(lái)評(píng)估訓(xùn)練數(shù)據(jù)集訓(xùn)練出的模型的表現(xiàn)。常用的方法有交叉驗(yàn)證，自驗(yàn)證，留出驗(yàn)證，測(cè)試抽樣等。交叉驗(yàn)證將數(shù)據(jù)集分成k個(gè)子集，并分別取其中一個(gè)集來(lái)測(cè)試，其余k-1個(gè)集來(lái)訓(xùn)練，然后重復(fù)這樣的操作，把k個(gè)子集都用一次作為測(cè)試集，最后可以得到k個(gè)測(cè)試結(jié)果，然后求均值就是最后的結(jié)果，通常k取5或者10較為合適。留出法則是將訓(xùn)練數(shù)據(jù)集的一部分作為測(cè)試數(shù)據(jù)集。自驗(yàn)證（self-validation）是一種以簡(jiǎn)化交叉驗(yàn)證的方式進(jìn)行外調(diào)法的方法，它是在每一輪迭代中為每一個(gè)模型指定一個(gè)獨(dú)立的測(cè)試集，然后在后面的輪迭代中不再使用測(cè)試集，這樣在每一輪迭代中只有一個(gè)測(cè)試模型，而不像交叉驗(yàn)證那樣必須選擇多個(gè)測(cè)試模型。 拓展知識(shí)： 外調(diào)法不僅可以用來(lái)評(píng)估模型預(yù)測(cè)準(zhǔn)確性，還可以用來(lái)比較不同模型的優(yōu)劣，例如訓(xùn)練多個(gè)模型，像邏輯回歸、支持向量機(jī)、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)等，并使用外調(diào)法來(lái)評(píng)估每個(gè)模型的表現(xiàn)，最后取最好的模型作為最終的預(yù)測(cè)模型。