Як спрачацца з сумнеўнай практыкі даследаванняў, такіх як P-хакерства і звяртаюцца?

Я прыйшоў у супярэчнасць з суаўтарамі, калі просяць зрабіць тое, што я лічу, каб быць пад пытаннем.

  1. Пасля таго, як мне сказалі, каб паспрабаваць усе магчымыя спецыфікацыі залежнай зменнай (COUNT, прапорцыі, двайковы індыкатар, вы называеце яго) у рэгрэсіі, пакуль я не знайду істотныя адносіны. Гэта значыць, няма падстаў для выбару адной спецыфікацыі над іншым, акрамя знаходжання значэння. Вядомая рыбалку для марской зоркі (таксама вядомы як P-Hacking). </Р>

  2. У іншы раз мяне папрасілі перапісаць раздзел тэорыі паперы, каб адлюстраваць выпадковы вывад з нашага аналізу, так што ён паказвае, як калі б мы задавалі пытанне аб выпадковым знаходжанні і прыйшлі з падтрымліваецца гіпотэзай апрыёры . Вядомы hypothesising пасля таго, як вынікі вядомыя (які звяртаецца). </Р>

У абодвух выпадках я адмовіўся падпарадкавацца і патлумачыў свае развагі, што прывяло да канфліктаў з іншага боку. Я стараўся з усіх сіл, каб не гучаць абвінаваўчая (не стварыцца ўражанне, што я сумняваюся, этыкі іншага боку), але тым не менш, прывяло да знясілення і пагаршэння працоўных адносін. У канчатковым аргуменце, які ішоў, мне сказалі, што «сацыяльная навука не робіцца ў натуральных навуках», і што я быў «занадта нягнуткімі», «занадта пазітывістаў», і што ўсе робяць гэтыя рэчы, што мяне папрасілі зрабіць , Спрэчка завяршыўся са мной папрасіў, каб «спыніць перашкоды прагрэсу паперы», што прымусіла мяне адчуваць сябе вельмі засмучаны.

З таго часу я бачыў некалькі выпадкаў таго, што я падазраю, што гэты тып даследчай практыкі. Напрыклад, аспіранты прыходзяць да мяне, каб спытаць пра тое, што яны павінны змяніць у сваіх мадэлях, так што іх вынікі выходзяць значныя, і людзі, якія працуюць у адной і той жа кампутарнай лабараторыі, як мне прасіць у мяне той жа тып дапамогі.

Я разгледзець гэтыя рэчы, каб быць сур'ёзна сумніўная з этычнай пункту гледжання, і хацеў бы, каб мець магчымасць выступаць супраць іх эфектыўна. Тым не менш, іншыя партыі, як правіла, дасведчаныя даследчыкі або студэнты пад кіраўніцтвам дасведчанага даследчыка. Як малады даследчык, я адчуваю, што я знаходжуся ў нявыгадным становішчы, калі довады супраць. Часта бывае так, што я спрачаюся з указаннямі, хто мае больш вопыту, публікацыі, і, як мяркуецца, веды, чым я.

Гэта адзін з тых выпадкаў, калі мы не можам зрабіць шмат, але спрабуюць быць «змена, якое мы хочам дамагчыся,» выганяюцца гэта, і проста пераканайцеся, што мы робім правільныя рэчы самі? Ці павінны мы казаць часцей? Калі так, то якія-небудзь добрыя стратэгіі, каб быць больш эфектыўнымі і пераканаўчымі?

пастскрыптум Тэг сацыяльныя навук з-за маё поле, але я лічу, што гэта адбываецца ў іншых галінах, і я вітаю ўваход ад іншых палёў.


EDIT 1: У прыкладзе 2), без якіх-небудзь момант хтосьці выказаў здагадку, што мы б пацвердзіць новую гіпотэзу ў новым наборы дадзеных. Намер складалася ў тым, каб рабіць выгляд, што мы атрымалі гэта права з самага пачатку, таму я пярэчыў.

EDIT 2: Проста ясна. Я ведаю правільна рабіць гэтыя рэчы (г.зн. крос праверку, які пацвярджае аналіз у новым наборы дадзеных, пакаранне для некалькіх статыстычных тэстаў і г.д.). Гэта пытанне аб тым, як сцвярджаць, што р-хакінгу і звяртаюцца ня шлях.

EDIT 3: Я не ведаў пра моцныя канатацыі словы правіны. Я рэдагаваў і замяніў яго «сумнеўнай даследчай практыкі»

111
@BenCrowell: Вы маглі б паспрабаваць спытаць на stats.stackexchange, каб зразумець, чаму гэта неэтычна.
дададзена аўтар Abs, крыніца
дададзена аўтар JoshReedSchramm, крыніца
Ці задумваліся Вы аб высвятленні іх апраўдаць кожнае дзеянне? Калі яны пытаюцца, чаму вы хочаце ведаць, скажыце ім, што вы хочаце даведацца. Чаму б хтосьці вёў выпрабаванні ў гэтым кірунку? Збярыце некаторыя сведчанні аб тым, што яны прапануюць з іх абгрунтаваннем і прывесці яго да кагосьці з вялікім вопытам і праверыць, ці з'яўляецца дзеянне + абгрунтаванне мае сэнс. Калі рэчы становяцца «цёмнымі» або нават «дзіўнымі», задаць «вышэйшую інстанцыю» арбітражнай над сітуацыяй. Прынясеце мне да гэтага чалавека і папрасіць яго даць вам застацца ананімным як мага больш. Як, як быццам гэта яго ідэя або кропка гледжання аўдыту.
дададзена аўтар wookay, крыніца
На жаль, у мяне ёсць эмпірычнае пацьверджаньне , што гэта так.
дададзена аўтар user7428, крыніца
Нічога сабе, цяпер гэта хтосьці, чыё меркаванне я хацеў бы ведаць. Здаецца, што я буду чытаць гэты артыкул, ён паказвае спасылка.
дададзена аўтар user7428, крыніца
Разумею. Магчыма, гэта было маё няведанне таго падтэксту, што слова мае.
дададзена аўтар user7428, крыніца
Праблема заключаецца не ў адсутнасці тэарэтычнага абгрунтавання, але жаданне зарабіць на тып памылкі 1, каб атрымаць прыдатныя да публікацыі «значныя» вынікі. Ён перамагае ўсю мэта выкарыстання выведзеных статыстык, каб пачаць з.
дададзена аўтар user7428, крыніца
Не прызнаючы рэтраспектыўным характар ​​гіпотэзы блізка да выкарыстання падману, каб перабольшыць якасць вынікаў.
дададзена аўтар user7428, крыніца
Але гэта нармальна, каб зрабіць выгляд, што вы мелі гіпотэзу ўсе разам? Я не камфортна рабіць. Як вы сказалі, мы павінны былі б пацвердзіць вынікі з новымі дадзенымі ці быць сумленнымі аб тым, што мы зрабілі.
дададзена аўтар user7428, крыніца
<�Я> Сумнеўны </я> - мне гэта падабаецца!
дададзена аўтар aparente001, крыніца
«Правіну», як правіла, бярэцца вельмі моцная крытыка. Людзі будуць слухаць лепш, калі ты не крычыць - так што давайце шукаць іншае слова, каб апісаць тое, што вас турбуе. Як наконт «кепскай практыкі даследаванняў» або «нядбайнага падыходу да даследавання»? Часта людзі неакуратна з-за ляноты ці мэтазгоднасцю або невуцтва. Але гэта адрозніваецца ад валявога намеры ўвесці ў зман - што слова «правіну» наводзіць на думку для мяне.
дададзена аўтар aparente001, крыніца
Калі ласка, пашыранае абмеркаванне Academia чат .
дададзена аўтар RayWright, крыніца
Я вучоны-фізік, а не сацыёлагі, так што я не ведаю, стандартаў у сваёй вобласці, але - гэта сапраўды лічацца «правіну?» Выгляд дробязны вакол, што вы апісваеце, можа быць законным спосабам стварэння новай гіпотэзы, але ў ідэале вы б тады праверыць гіпотэзу, выкарыстоўваючы дадатковыя дадзеныя. Публікацыя да таго, новыя дадзеныя маглі б генераваць нізкія якасці выдання, якія аказваюцца бескарыснымі, але я не думаю, што гэта дрэннае паводзіны. І нават у натуральных навуках, не існуе правіла, што вы не можаце сфарміраваць гіпотэзу пасля збору дадзеных.
дададзена аўтар Ben Crowell, крыніца
@gnometorule даследаванні рака або сацыялогіі, калі вы фармулюеце вашу мадэль, заснаваную на пошуку ў адным наборы дадзеных, што набор дадзеных больш не можа выкарыстоўвацца для падтрымкі вашай мадэлі ў любым кантэксце, акрамя слова «пасля таго, гледзячы на ​​гэтыя дадзеныя я прыдумаў гэтую мадэль». Калі вы ўяўляеце яго як «гэта мая мадэль, і яна падтрымлівае гэты аналіз я зрабіў з гэтых дадзеных», не згадваючы, што вы пабудавалі мадэль толькі пасля таго, гледзячы на ​​дадзеных, якія даследаванне правіну, таму што вы вярнуліся да пабудовы дроцікаў вакол ўсюды, дзе дзіда прызямліўся, а гэта азначае, што мішэнь была там усё разам.
дададзена аўтар XenocodeRCE, крыніца
@BenCrowell У любой вобласці, дзе вынікі незалежна ад таго, робіць гэта проста правіну. Калі вы прапісалі прэпарат лекара вы будзеце рады даведацца, што дакумент падтрымлівае прымяненне прэпарата быў напісаны кімсьці, хто выкарыстаў гэтыя метады, каб атрымаць «значныя» высновы для бескарыснага лекі? <�Б> Даследнікі робяць гэта літаральна забівае людзей. Faffing аб і робячы выгляд, што яны не не дапамагае. Гэта менш сур'ёзнае, калі вынікі не маюць ніякага значэння. Але калі яны не маюць значэння, чаму вы робіце працу на ўсіх?
дададзена аўтар XenocodeRCE, крыніца
@CaptainEmacs Гэта толькі законна, калі вы выправіце для множных гіпотэз (якія так мала людзей робяць на практыцы), або калі вы проста выкарыстоўваць яго ў якасці пошукавага метаду і плануюць сабраць новыя дадзеныя для праверкі патэнцыйных вынікаў. Адпаведныя XKCD .
дададзена аўтар Dan, крыніца
Спытаеце, што методыка апісана дакладна ў артыкуле, і даць апісанне вы хацелі б уключыць. Апішыце, што вы рабілі без залішне папярэдне судзіць яго. Калі «ўсё ж гэта" тое, што павінна быць выдатна, каб уключыць. Калі вы атрымліваеце супраціў, ці горш, хтосьці пазней губляе апісанне, то вам трэба канфідэнцыйна пагаварыць з дэканам вашага аддзела, прыклады (без імёнаў) і ваша інтэрпрэтацыя навуковай каштоўнасці гэтых прыкладаў, і спытаць, як дэкан хоча навукі павінны быць зробленыя ў аддзеле.
дададзена аўтар Marlon Rodriguez, крыніца
Проста пра «рыбалку»: гэта ў цяперашні час пад назвай «інтэлектуальнага аналізу дадзеных». Гэта не асабліва цікавая форма правядзення даследаванняў, як вы атрымаеце проста мешаніну лікаў з больш-менш важным значэннем і павінны чытаць у сваіх вантробах. Аднак само па сабе гэта з'яўляецца законным, і людзі выкарыстоўваюць яго, каб выявіць гіпотэзы. Я не вельмі падабаецца, што стыль даследаванні, таму што ён не вырастае з разумення. Але тады, батаніка пакутаваў пад адной і той жа праблемай, пакуль дарвінаўскай аб'яднання. Не ўпэўнены, што я б назваў яго незаконным, толькі не вельмі прывабна.
дададзена аўтар Captain Emacs, крыніца
@Roger Вентылятар Цалкам пагадзіўся - пры ацэнцы значнасці гіпотэзы, вы павінны заплаціць штраф, знайшоўшы яго з дадзеных. Сапраўды, убачыць мой адказ ніжэй.
дададзена аўтар Captain Emacs, крыніца
@gnometorule Гэта як калі б я кінуць дзіда на сцяне, а затым пабудаваў мішэнь вакол яго. Вядома, я ўдарыў быкоў вачэй кожны раз - нават не спрабаваць. Калі перагледзець гіпотэзу, заснаваную на эмпірычных дадзеных, якія вы павінны сабраць новыя дадзеныя.
дададзена аўтар Chris, крыніца
На жаль, вы можаце ў «нулявым поле», у Іаянідыс. Што вы бачыце, здаецца, эндэмічных для сацыяльных навук, што тлумачыць крызіс узнаўляльнасці адзначыў у гэтых абласцях.
дададзена аўтар Tarod, крыніца
@gnometorule :. «Ключавы момант у належным статыстычным аналізе з'яўляецца праверка гіпотэзы доказы (дадзеныя), што не было выкарыстаны пры пабудове гіпотэзы Гэта вельмі важна, таму што кожны набор дадзеных ўтрымліваюць некаторыя мадэлі з-за цалкам выпадкова Калі гіпотэза не з'яўляецца. пратэставана на розны набор дадзеных з адной і той жа папуляцыі, што немагчыма вызначыць, калі ўзоры, знойдзеныя ў выпадковых узорах «. - en.wikipedia.org/wiki/Data_dredging
дададзена аўтар Tarod, крыніца
Вы жартуеце? Вядома, гэта неэтычна. Вядома, гэта дрэннае паводзіны. Ганьба на тых, хто казаў інакш. Брава, Кэндзі.
дададзена аўтар Amarnath, крыніца

8 адказы

Такога роду рэчы адбываецца як у сацыяльных навуках і фізічных навук. Напрыклад, часта навуковец збірае дадзеныя для праверкі тэорыі, але і сабраць шмат старонніх дадзеных. Аналізы на гэтых староннімі дадзеных часта варта разглядаць разведачных і пазначаныя як такія (таму што значныя вынікі могуць быць з-за шматлікіх тэстаў) [У якасці іншага прыкладу, вы не хочаце ведаць, як часта хімікі паўтарыць эксперымент, пакуль яны не атрымліваюць добры ўраджай , затым спыніцца і паведаміць, што выхад, не згадваючы, што гэта быў лепшы ў 20 эксперыментах!]

Самае хуткае рашэнне пагадзіцца зрабіць некалькі аналізаў, але сказаць, што вы зрабілі ў метадалагічным раздзеле. Калі вы кажаце, што вы прааналізавалі яго некалькі шляхоў і адзін спосаб паказаў значэнне, чытачы могуць вырашыць, ці варта верыць у вынік. Проста скажыце сваім суаўтарам, што не згадваючы, што вы зрабілі некалькі аналізаў пакідае даследаванне няправільна апісаў.

Тым не менш, вы можаце (часам) захаваць дзень. Калі, напрыклад, вы зрабілі 10 розных аналізаў і выбралі лепшы, вы будзеце добра, калі вынік будзе трымаць пад карэкцыяй Бонферрони (г.зн. замест таго, каб патрабаваць значэнняў на ўзроўні 0,05, вам патрабуецца значэнне на 0,05/# выпрабаванняў ўзровень). Так канчатковы тэст паказвае, р-значэнне, такія як 0.000001, вы, верагодна, на бяспечных тэрыторыях.

Іншы падыход заключаецца ў апрыёры вырашыць, што некаторыя тэсты відавочныя (якія пацвярджаюць), а некаторыя проста пошук па дадзеных (разведачных). Пасля гэтага вы можаце прадэманстраваць пацвярджаюць вынікі, у той час як маркіроўка нічога цікавага сярод «пошукавых" вынікаў, як "мае патрэбу ў далейшым даследаванні. Гэта значыць, вы можаце змяшаць добра абгрунтаваныя тэсты з «дноуглубительных дадзеных» да таго часу, як вы прызнаеце розніцу паміж двума наборамі тэстаў.

Але калі гэта не ўяўляецца магчымым, каб выратаваць вынік, я б з настойваючы на ​​тым, што яны гэта апісанне таго, што яны зрабілі, з каментаром, што калі яны саромеюцца, каб апісаць гэта, яны не павінны б зрабіць гэта. :)

Вы можаце таксама дадаць, што часта відавочна (прынамсі статыстыкі), што даследчык выцягнуў гэты трук. Калі мы бачым выпрабаванне ў ізаляцыі, што не адбывалася б нам быць відавочным падыходам, ці гіпотэза, што мы не абралі б апрыёры, гэта выглядае падазрона. Напрыклад, я нядаўна прачытаў артыкул, у якой сцвярджаў, што пэўная група людзей, як правіла, здзяйсняюць самагубства часцей, калі яны нарадзіліся вясной. Было ясна, што толькі тэставанне эфекту нараджэння ў Springtime не было нешта, што будзе адбывацца з кім-небудзь, не выпрабоўваючы эфект нараджэння ў іншыя поры года. Такім чынам, яны, верагодна, былі ілжывы вынік з-за множныя параўнання.

49
дададзена
Так, я ведаю пра ўсе спосабы барацьбы з ім: правільнымі для множных параўнанняў, з дапамогай крыжаванай праверкі, і г.д. Я не пярэчыў бы, калі б мы апісаць тое, што мы зрабілі ці, калі мы будзем выкарыстоўваць адзін з гэтых метадаў. Праблема заключаецца ў тым, што гэта не тое, што я прасіў зрабіць (таксама не так і тое, што я бачу, як іншыя робяць). Upvoted вас за ", калі вы збянтэжаныя, каб апісаць гэта, вы не павінны былі гэта зрабіць. Я буду старацца выкарыстоўваць яго ў наступны раз.
дададзена аўтар user7428, крыніца
Вы не выпраўляюць для множных параўнанняў пасля таго, як вы зрабілі ўсё аналізы. Вядома, гаворка ідзе аб прыняцці рашэнняў. Калі вы апрыёры не збіраліся трымаць значны ўплыў, калі яно не прайшло Бонферони, то гэта нармальна, але калі вы збіраецеся трымаць яго незалежна, то карэкцыя анулюецца. Вы можаце зрабіць мадэляванне, але гэта не цяжка зразумець, чаму гэта не атрымоўваецца, улічваючы р нулявых эфектаў раўнамерна размеркаваны. 0,05, калі гэтак жа, як верагодна, як 0,00001.
дададзена аўтар MaQleod, крыніца

Гэта выдатны пытанне. Я думаю, што вы (і іншыя ў падобных сітуацыях) павінны гаварыць, але я разумею, што гэта вельмі цяжка зрабіць. Дзве рэчы, якія я хацеў бы прапанаваць:

  1. Try to figure out if the people you're dealing with understand that the methods they're proposing (p-hacking, etc.) are dodgy or not -- i.e. whether it's an issue of ethics or ignorance. This is harder than it may seem, since I think many people genuinely don't understand how easy it is to find patterns in noise, and how "researcher degrees of freedom" make spurious patterns easy to generate. Asking people, non-confrontationally, to explain how doing tests on "every possible specification of a dependent variable" and selecting those with "p<0.05" corresponds to <5% of "random" datasets having a feature of interest would make this clearer, and would perhaps give you insight on the question of ethics or ignorance. I'd bet that a good fraction of people aren't deliberately unethical, but their cloudy grasp of quantitative data obscures ethical thinking.

  2. Something I've found helpful in related contexts is to generate simulated data and actually show the principle that you're arguing. For example, generate datasets of featureless noise and show that with enough variables to compare between, one can always find a "significant" relationship. (Obviously, without correcting for multiple comparisons.) It may seem strange, but seeing this in simulated data seems to help.

Поспехаў!

30
дададзена
Гэта добрая ідэя. Я паспрабаваў гэта сам на працягу досыць некалькіх гадоў. (Гэта, як я ведаю, што гэта добра.) На жаль, гэта займае пэўны від разумення выпадковасці, каб сапраўды зразумець, што вашы прыклады 2 азначаюць ў кантэксце р-хакінгу. І гэта мысленне рэдка сярод сацыяльных і медыцынскіх навукоўцаў. Я быў у стане прышчапіць некаторыя ў некалькіх людзей, я працаваў на працягу многіх гадоў у цяперашні час. Гэта доўгатэрміновая стратэгія ў галіне адукацыі.
дададзена аўтар Sara Chipps, крыніца
Я думаю, што ёсць даволі шмат каментароў на зыходным паведамленні здраджвае невуцтва вы апісваеце ....
дададзена аўтар Viv, крыніца

Kenji, За апошнія некалькі гадоў, я даў курс бесперапыннай адукацыі пад назвай Распаўсюджаныя памылкі ў выкарыстанні статыстыкі: Глядзельныя Іх і пазбегнуць іх. Я спадзяюся, што некаторыя з падыходаў, якія я ўзяў можа быць карысным для вас, каб пераканаць сваіх калегаў, што змены неабходныя.

Па-першае, я не пачынаюць казаць, што рэчы з'яўляюцца неэтычнымі (хоць я мог бы атрымаць да таго, што ў рэшце рэшт). Я кажу, а не пра памылкі, непаразуменнях і блытаніны. Я таксама ў нейкі момант прадставіць ідэю, што «Вось так мы заўсёды рабілі рэчы" не робіць, што шлях правільны.

Я таксама выкарыстоўваю метафару «гульні тэлефона», што многія людзі гулялі ў дзяцінстве: людзі сядзяць у крузе; адзін чалавек нешта шэпча на вуха чалавека побач з імі; што чалавек шэпча, што ён/яна чуе, да наступнага чалавеку, і гэтак далей па крузе. Апошні чалавек кажа, што яны чуюць ўслых, і першы чалавек раскрывае арыгінальную фразу. Звычайна два настолькі розныя, што гэта смешна. Ужываючы метафару да выкладання статыстыкі: хтосьці сапраўды спрабуюць зразумець складаныя ідэі статыстыкі частотнай; яны, нарэшце, лічаць, што яны атрымліваюць яго, і перадаць іх ўспрымання (але некалькі некарэктных) разумення на іншых; некаторыя з атрымальнікаў (з добрымі намерамі) зрабіць больш спрашчэнняў ці пагалоскі і перадаць іх да большай колькасці людзей - і гэтак далей ўніз па лініі. У рэшце рэшт сур'ёзныя недахопы версіі ў падручніках і становіцца стандартнай практыкай.

Нататкі для маёй пастаяннай эд курса знаходзяцца ў вольным доступе на сайце http://www.ma.utexas.edu /users/mks/CommonMistakes2015/commonmistakeshome2015.html . Вы можаце выкарыстоўваць іх у любым выпадку - напрыклад, маючы неафіцыйны дыскусійны семінар, выкарыстоўваючы іх (ці некаторыя з іх) у якасці фону чытання можа дапамагчы мець зносіны ідэі. Вы заўважыце, што першая «Распаўсюджаная памылка» абмяркоўваецца «Чакаючы занадта шмат нявызначанасці.» Сапраўды, што фундаментальная памылка, якая ляжыць у аснове шмат таго, што пайшло не так у выкарыстанні статыстычных дадзеных. Рэкамендацыі, дадзеныя ёсць добрая адпраўная кропка для аказання дапамогі калегам пачаць бачыць кропку ўсіх іншых памылак.

Сайт, вядома ж ёсць спасылкі на некаторыя інтэрнэт-дэмкі, якія з'яўляюцца карыснымі для некаторых у разуменні праблем, якія часта апускаецца.

Я таксама зрабіў некаторыя блогінг на агульную тэму ў http://www.ma.utexas.edu/blogs/mks/. Некаторыя з запісаў чэрвеня 2014 года асабліва актуальныя.

Я спадзяюся, што гэтыя прапановы і рэсурсы карысныя. Не саромейцеся звязацца са мной, калі ў вас ёсць якія-небудзь пытанні.

21
дададзена

Ваша інстынктыўнае непакой з нагоды стварэння гіпотэз з дадзеных і робячы выгляд, што яны былі там з самага пачатку знаходзіцца на правільным шляху:

У статыстыцы, так званы крытэр хі-квадрат можа быць выкарыстаны для параўнання дадзеных з мадэлямі, якія былі ўсталяваныя з саміх дадзеных. Аднак, для гэтага, крытэрый хі-квадрат павінен быць адаптаваны да па сутнасці «аштрафаваць» сваю здабычу параметраў пры тэставанні, як значная матчу.

Гэта не лёгка абагульняецца на іншыя ўстаноўкі, так і ў агульнай тэорыі і практыцы навучання, адзін разбівае дадзеныя ў некалькіх груп. Напрыклад, калі адна частка выкарыстоўваецца для аптымізацыі параметраў, адзін, на першы нябачная, частка выкарыстоўваецца для аптымізацыі абагульнення, а апошні, нябачную, частка <�моцны> ніколі каналы ў мадэлі канструкцыі і выкарыстоўваецца каб праверыць, наколькі добра першыя два этапы працаваў. Гэта называецца «крос-праверкі».

Можа быць, вы можаце прапанаваць (або проста ўвесці) у групу такую ​​метадалогію, шляхам падзелу дадзеных выпадковым чынам у розныя кампаненты; з адной вы будуеце мадэль, якая затым правяраецца з нябачнымі дадзенымі. Падрабязная інфармацыя аб тым, як зрабіць падзел будзе залежаць ад вашага дамена. Такім чынам, у вас ёсць упэўненасць у тым, што мадэль з'яўляецца прадказаннем. Для гэтага, каб быць гукам, вам неабходна пераканацца, што ён не выкарыстоўвае поўны набор дадзеных у любой форме (нават не праз адзін разумны калегі, які ўспомніў, што дадзеныя парабалічны ў цэлым). Лепш за ўсё, каб ніколі не глядзець на нябачных дадзеных да таго часу, пакуль мадэль не будзе завершана.

Што тычыцца пост-hypothesising, я знайшоў, што гэта часта нават не спатрэбіцца. Вы можаце пачаць з гіпотэзай, то выявілі, што гэта не дзейнічае, але потым знайсці іншае, цікавае з'ява замест гэтага. Гэта называецца «адкрыццё» і прахалодныя дакументы з'яўляюцца вынікам гэтага. Калі вядучыя часопісы вашай вобласці не прымаюць такі стыль, таму што яны хочуць стандартны "гіпотэза-эксперымент-праверка» цыкл, то праблема заключаецца ў вашым супольнасці глыбей, чым са сваімі калегамі.

Карацей кажучы: ўстаноўка мадэлі з дадзеных і параўнання матч нармальна, калі ў вас ёсць спосаб пакарання, што здабыча (як і ў хі-квадрат). У адваротным выпадку, вы можаце зрабіць «крос-праверкі» для гукавых вынікаў. Нарэшце, замест таго, каб пасля hypothesising, мая прапанова заключаецца ў высоўвае гіпотэзу, скажам, ануляваць гіпотэзу і прадэманстраваць з'яўленне іншы гіпотэзы.

6
дададзена
Так, што вы напісалі, наогул кажучы, у адпаведнасці з тым, што мяне вучылі. Гэта не так, як ніхто ў маім полі не ведае пра гэта, гэта проста, што яны, здаецца, не рэальна ацаніць, наколькі праблематычна гэта проста п-хак і выкарыстоўваць апастэрыёрнае гіпотэзы ўвесь час, робячы выгляд, што мы зрабілі гэта ў кнізе.
дададзена аўтар user7428, крыніца
Або застацца там, дзе вы ар, але супрацоўнічаць з людзьмі з іншых устаноў.
дададзена аўтар aparente001, крыніца
Тады гэта сапраўды праблема. Адзін не можа лёгка мяняць культуру месца, то лепш пайсці куды-небудзь з культурай цэласнасці.
дададзена аўтар Captain Emacs, крыніца

Шмат добрых адказаў ўжо. Тым не менш, у навуковых колах, гэта заўсёды лепш, калі вы можаце стварыць рэзервовую копію пазіцыю з добрай апублікаванай спасылкай. На шчасце, пытанне аб р-хакерства і узнаўляльнасці падымаецца і вырашаць усё часцей і часцей у розных дысцыплінах.

Я ўсталяваць гэта як href = "https://meta.stackexchange.com/q/11740/256777"> CW паведамленне

<�Моцны> Псіхалогія

  • Here is an editorial by the Editor-in-Chief of

  • Psychological Science, which is pretty much the mother of all psychology journals (Open Access. I also recommend papers cited by Lindsay.):

Lindsay, D. Stephen (2015). Replication in Psychological Science. Psychological Science, 26, 1827-1832.

DOI:10.1177/0956797615616374.

  • Here is a study in Science that shows that we indeed have a "replicability crisis" in psychology - a large collaboration set out to replicate 100 effects reported in well-regarded journals, and only 36% did replicate:

    Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349, 6251. DOI:10.1126/science.aac4716

  • 4
    дададзена

    Апішыце дакладна, што вы зрабілі ў працы. Да таго часу, пакуль вы сумленныя, папера будзе судзіць па рэцэнзентаў, рэдактараў і чытачоў.

    Нават людзі, якія робяць р-значэнне хакерства будуць мець цяжкі час здабываючы сумленнае апісанне з паперы. Калі яны кажуць вам, каб выдаліць яго, спытаеце іх, чаму, і вы будзеце мець верх у выніку абмеркавання.

    4
    дададзена
    Гэта этычна і з навуковага пунктам гледжання правільнага адказу, але можа быць некалькі наіўнымі, задача не ведаючы, што гэта правільны адказ, задача складаецца ў тым, каб атрымаць іншыя аўтары пагадзіцца на самай справе апублікаваць яго з усёй гэтай інфармацыяй. У ідэальным свеце #overlyhonestmethods goo.gl/wC76up было б цалкам прымальна і «прафесійны» для ўключэння ў даследаванні папера.
    дададзена аўтар XenocodeRCE, крыніца

    Адзін з варыянтаў, каб зрабіць «канструктыўную» кропку. Калі сааўтары (як многія з іх) выкарыстоўваецца для розных ступеняў р-узлому, яны, верагодна, не будзе занадта рады пачуць, што іх вынікі unpublishable, як яны стаяць.

    Калі б вы былі ў стане прапанаваць рашэнне апублікаваць вынікі ў той час як <�ет> і пазбегнуць гэтых дрэнных практык, то мала хто будзе пярэчыць. Лепшы спосаб, верагодна, паспрабаваць рабіць байесовский аналіз. Тут (у некаторых выпадках) нязначныя вынікі таксама будуць інтэрпрэтаваныя і такім чынам апублікаванню.

    1
    дададзена

    Я спадзяюся, вы не супраць, але я хачу скарыстацца гэтай магчымасцю, каб даць вам іншы набор саветаў ад таго, што вы просіце - параіць вам не прымаць гэты падыход да вырашэння гэтай праблемы на дадзены момант часу.

    Я раблю здагадка аб тым, што вы хочаце (я) некаторы ўзровень акадэмічнага поспеху - дастаткова, каб падтрымаць сябе, і (б) у мэтах павышэння якасці даследаванняў, і сацыяльныя выгады, якія прыводзяць. Мяркуючы, што я маю рацыю, я не думаю, што вы павінны працягваць гэты аргумент <�моцны> ( на дадзеным этапе ) .

    Я не думаю, што вы павінны працягваць гэты аргумент <�моцны> ( на дадзеным этапе ) , калі вы шануеце сваю акадэмічную кар'еру, як гэта прымусіць вас спаліць важныя масты і зачыняць дзверы. Напрыклад, калі супервизор р-пісакі і вы подвергает і знішчыць яго за гэта, то вы страцілі асноўную падтрымку і значна паменшыць вашыя шанцы быць у стане забяспечыць кар'еру ў гэтай галіне.

    У сувязі з гэтым, <�моцны> ( на дадзеным этапе ) Я не думаю, што вы аптымальна размешчанымі аспрэчыць негатыўны ўплыў р-ўзлому. Вось некалькі прычын, чаму я думаю, што гэта. Па-першае, як і звязаныя з тым, што я сказаў вышэй, калі вы знаходзіцеся ў маленстве кар'еры ў канкрэтнай сацыяльнай сістэме, то вы не можаце лёгка ўплываць на паводзіны тых, хто ўжо ўсталяваны ў гэтай кар'еры, і хто ні ведаюць і не паважаюць вас. Па-другое, вы не можаце цалкам зразумець, чаму сістэма працуе, як гэта робіць, і рычагі, якія павінны быць выведзеныя, каб змяніць гэтую аперацыю, пакуль не больш знаёмыя з ім. Вы маглі б быць у стане зрабіць розніцу мікраўзроўні (напрыклад, вы подвергает некаторыя чалавек, з якімі вы працуеце), але я не бачу, што, як, верагодна, будзе вельмі эфектыўным, так як ён будзе калечыць вас зрабіць гэта.

    Падводзячы вынік мае думкі з анекдотам: уявіце, што вы выраслі ў горадзе, дзе ўсе настаўнікі карумпаваныя і некампетэнтныя. Як вы думаеце, што было б лепш, каб пратэставаць супраць іх, калі ў школе? Хутчэй за ўсё, няма, як вы маглі б дасягнуць вельмі мала, і выкладчыкі, верагодна, выкарыстоўваць свае сілы, каб прадухіліць вас ад заканчэння і істотна сапсаваць вашу жыццё. З іншага боку, было б лепш, каб трываць настаўнік заган, пакуль не выйшлі з сістэмы (або вышэй) і ў стане рэальна змяніць становішча рэчаў? Я думаю, так як у гэтым выпадку вы можаце апынуцца ў пазіцыі ўлады, і ёсць рэсурсы, каб зрабіць што-то, каб змяніць сістэму навучання.

    Вядома, усё гэта толькі маё меркаванне, і я мог бачыць шмат спосабаў, якімі вы можаце запярэчыць супраць гэтага :)

    <�Моцны> 2015/12/28 :. Даданне некаторых больш ўтрымання, каб растлумачыць і вырашыць каментары

    Я хацеў бы надаваць больш увагі маёй асноўнай кропкі; звярнуцца да прагматызму і чакаць лепшага часу, каб дзейнічаць. Асабіста я думаю, што ёсць час і месца для актывізму, што часам лепш трымаць рот на замку і чакаць, пакуль у вас ёсць больш шанцаў зрабіць што-то замест таго, каб гаварыць і атрымаць стрэл нічога. Такім чынам, у любым выпадку, калі дзейнасць з'яўляецца варыянтам, рашэння аб тым, каб удзельнічаць у ім павінен залежаць ад рознага разгляду, такіх як цяжар непажаданых вынікаў, рызыка для чалавека ў прадухіленні яго, іх здольнасць прадухіліць яго, і іх маральная аснова (напрыклад, деонтологическая або ўтылітарная). Як гаворыцца, вы павінны выбраць свае бітвы; кожны бой будзе адбівацца і некаторыя зборы, магчыма, не варта плаціць за тое, што яны вас.

    Асабіста я лічу, што калі вы збіраецеся апублікаваць нешта, што можа знішчыць чалавецтва або ў канчатковым выніку з кімсьці быць забітым, то ўсе сродкі вы павінны зрабіць асабістыя ахвяры, каб прадухіліць гэта (калі вы можаце зрабіць што-то). З іншага боку, калі бягучы «негатыўны» вынік, які вы прадбачыцца неэтычна (некаторымі/большасць аўтараў у цяперашні час нормы) змена фокусу паперы (што 5 чалавек будзе на самой справе чытаць), каб паглядзець на адно істотных адносінах (напрыклад, узрост і карэляцыя з частатой веласпорту), а не іншае раней запланаваным адносіны (напрыклад, падлогу і карэляцыя з частатой веласпорту), што апынулася не быць значнымі, і новы зыход альбо (я) вы будзеце звольненыя і папера апублікаваная без вы, або (б) нічога не будзе апублікавана, і ніхто ніколі не будзе карысна ведаць пра значныя адносінах, якія вы знайшлі, то я больш упэўнены, што ўдзел у актыўнасці не шлях <�моцны> (у гэты этап у любым выпадку) .

    І так, я прызнаю, што мае довады яго тут некарэктныя спрашчэння, што гэта вельмі складаная рэальнасць, але я спадзяюся, што вы можаце зразумець маю агульную кропку і даць некаторыя думкі да яго.

    0
    дададзена
    @KyleStrand: (1) Я не прапаную яго. Не перакручвайце мае словы. Гэта дапамагло б, калі паказаць на канкрэтны (літаральны) фрагмент з маіх каментароў, якія вы лічыце ілжывымі і якімі доказы вы павінны падтрымліваць вашы прэтэнзіі. (2) Пагадзіцеся: «працаваць у ...» гучыць як савет - тое, што я меў на ўвазе, што яна дае лепшыя вынікі (менш р-хакінгу у рэшце рэшт), у параўнанні з альтэрнатывай. Для таго, каб быць ясна: Гэта не парада.
    дададзена аўтар Calanus, крыніца
    @DaltonHance: вось чаму я не люблю рэлігіі: яна робіць добрыя людзі робяць дрэнныя рэчы, прадыктаваных нейкі догмай. Тое, што вы кажаце, догма, што ігнаруе рэальнасць (спальваючы масты, не так, каб р-хакерство радзей). Unrelated: Я пярэчу ты называеш мае каментары «ваш савет» - мае каментары ўтрымліваюць некаторыя выказванні: яны могуць быць правільнымі або няправільнымі (заснавана на доказах) - нічога ў ім не саветы. Вы павінны, верагодна, вашыя каментары ў адказ. Глядзі, апошняя прапанова можа ўяўляць сабой савет, хоць я лічу гэта толькі прапанова, каб разгледзець гэтае пытанне.
    дададзена аўтар Calanus, крыніца
    @DaltonHance: калі вы не актывіст, які гатовы прысвяціць сваё жыццё барацьбе за правае справу; гэта шкодна і бессэнсоўна казаць супраць статусу-кво: вы не будзеце рабіць рэчы лепш для іншых, і вы будзеце рабіць рэчы горш для сябе. Лепш мець этычную кампетэнтны навуковец, які мае да кампрамісу часам - праца ў сістэме, а не супраць яго.
    дададзена аўтар Calanus, крыніца
    @DaltonHance: гэта няшчыра, інтэрпрэтаваць мой каментар, што шлях. Я кажу рэчы, як яны ёсць, а не як яны павінны быць - гэта прынцыповае адрозненне паміж Арыстоцелем і сучаснай фізікі (ніякага рэальнага прагрэсу не можа быць зроблена, калі свет не будзе прыняты, як гэта <�б> з'яўляецца , а не як мы як гэта будзе). Дарога ў пекла выбрукаваная добрымі намерамі. Разгледзім фактычныя наступствы вашых дзеянняў, а не тэарэтычнай. Гаворка ідзе не пра погляды, гаворка ідзе пра факты - прачытаць пытанне: папера не палепшылася, О.П. працоўныя адносіны горш.
    дададзена аўтар Calanus, крыніца
    Будучы яшчэ малодшым навуковым супрацоўнікам, здаецца, што Kenji просяць паставіць сваё імя ў якасці суаўтара або вядучага аўтара, на паперы, якая хавае сваю метадалогію такім сумніўным спосабам, і змяшчае бессэнсоўныя вынікі. Ці не будзе папера шкоду іх кар'еры зараз? Вядома, малодшы павінен казаць у прыватным парадку, каб гарантаваць, што дакумент не з'яўляецца ні зман, ні няправільна, ні сэнсу, ні нават рэкамендуюць згубнае змяненне дзяржаўнай палітыкі.
    дададзена аўтар kajaco, крыніца
    @ Апошні каментарый J.F.Sebastian DaltonHance з'яўляецца, можа быць, мацней, чым я б выказаўся, але я цалкам згодны з «Падтрыманне блізкіх па духу адносін не з'яўляецца часткай навукі.» Гэта не супярэчыць навуцы, але ў дадзеным выпадку гэта гучыць як ёсць канфлікт паміж Кангеніяльнасць і гукавой навукай. Вучоны ніколі не павінен ахвяраваць навукова-этыку для таго, каб падтрымліваць добрыя адносіны з кім-то, хто выступае неэтычныя даследавання.
    дададзена аўтар Viv, крыніца
    @ J.F.Sebastian Я не скручваючыся слова. Вы сказалі: «Тое, што вы [DaltonHance] кажаце догма, што ігнаруе рэальнасць», і тое, што ён кажа, што OP апісвае неэтычныя даследаванні і OP не павінен ісці разам з імі. Гэта проста чытанне вашага каментара. Што ж тычыцца «гэта не парада [так у арыгінале?]» Каламбур - «парады» I'm не зусім упэўнены, чаму вы супраць слова Калі вы кажаце, што адзін курс дзеянняў лепш, чым іншыя, <�я> то ёсць парады . Гэта не ўніжальнае, альбо; савет не дрэнна.
    дададзена аўтар Viv, крыніца
    @ J.F.Sebastian Вы мяркуеце, што супрацьдзеянне неэтычнай практыкі даследаванняў з'яўляецца проста «догма», і што гэта "дрэнна", каб заахвоціць людзей не ісці разам з неэтычнай практыкі даследаванняў? Што тычыцца запярэчу тэрмін «савет," як ёсць "праца ў сістэме, а не супраць яго» не «саветаў»?
    дададзена аўтар Viv, крыніца
    Гэта як дрэнныя сістэмы ўсіх відаў сталі сістэматычна ўкараніліся. Рэкамендуючы, што даследчыкі выкарыстоўваюць недапушчальныя/няшчырыя метады даследаванняў для таго, каб стаць добра ацэненымі дастаткова, каб кінуць выклік такой практыкі, як казалі патэнцыйныя рабаўладальнікаў, каб ісці наперад і разбагацець, выкарыстоўваючы рабская праца, перш чым выступаць супраць рабства.
    дададзена аўтар Viv, крыніца
    Каб адказаць строга на адказ Пятра тут, даказаныя, што ОП з'яўляецца дарослы (не непаўнагадовы залежыць у пачатковай школе), ОП павінен прыняць гэты этап як магчымасць прадумаць пытанне аб тым гэтай галіне, з яго дадзенымі практыкі і якасцю апублікаваных вынікаў , гэта адзін, да якога OP сапраўды хоча прысвяціць сваё жыццё.
    дададзена аўтар Tarod, крыніца
    Каментар ад 28/12 рэдагавання: «... нічога не будзе апублікавана, і ніхто ніколі не будзе карысна ведаць пра значныя адносінах, якія вы знайшлі ...». Яны амаль напэўна не вельмі знайсці значную сувязь (пры ўмове наступнага выпрабаванне рэальнага). Гэта ілюзорна; у гэтым уся праблема з дноуглубительных даных; і кожны, хто чытае такую ​​паперу Р-узламаны з'яўляецца дэзінфармавалі.
    дададзена аўтар Tarod, крыніца
    @ J.F.Sebastian Навука гэта не праца, гэта пакліканне. Ваш савет добры для кагосьці працоўных некаторых 9-5 продажу людзей ручкі або паперу. Ваш савет можа нават быць добра для кагосьці працуе ў палітыцы, што мастацтва магчымага. Праблема з вашага пункту гледжання з'яўляецца малюнкам акадэміі, як проста праца. Для таго, каб прыняць статус-кво процілеглая навуковы прагрэс. Любы, хто якая замацоўвае ваш погляд можа ўтрымліваць уладу часова, але будзе асуджаны на сметнік гісторыі навукі. Навуковы прагрэс не зрабіў з сумнеўнай статыстыкай, ні зроблены слабавольнай, але зусім блізкіх па духу супрацоўнікаў.
    дададзена аўтар Warren Schudy, крыніца
    @ J.F.Sebastian Адзін апошні момант: ваш савет выстаўляе OP віны па асацыяцыі. Разгледзім выпадак, калі Дональд Грын, сааўтар Майкла Lacour ст. Яго рэпутацыя пашкодзіцца з-за яго суаўтара па правіны. Нават калі яны апублікаваныя, OP можа знайсці яго ў суаўтарстве дакумент узяў у блогасферы падобнымі Эндру Гельман, ці іншым чынам (і па праве) пад сумнеў. Калі ОП затым далучыцца да яго суаўтараў ў аспрэчанні, абараняючы саму практыку ён/яна знаходзіць пад пытаннем? Гэта нонсэнс выказаць здагадку, што працоўныя адносіны з'яўляюцца больш важнымі, чым этычныя метады даследавання.
    дададзена аўтар Warren Schudy, крыніца
    @ J.F.Sebastian Гэта вялікі савет для Майкла Лакора і Эндру Уэйкфилд. «Падробленыя гэта Сезам вам зрабіць гэта, а затым выправіць яго.» Вы прадставілі ілжывыя дыхатаміі. Выберыце альбо актывіст ізгоя або этычна аслаблены, але добры ў сэрцы-інсайдэр. P-ўзлом не можа быць гэтак жа маральна абуральнымі, як прамое выраб, але следства адно і тое ж: памылковыя высновы, прадстаўленых у выглядзе навуковых ведаў. Гэтыя рэчы маюць рэальныя наступствы, нават у сацыяльных навуках. Мне трэба толькі паказаць вам на тэмпы вакцынацыі ў ліберальных анклавах, як рэальнае і патэнцыйна смяротнае следства дрэннай навукі.
    дададзена аўтар Warren Schudy, крыніца
    @ J.F.Sebastian Гэта гучыць для мяне тое, што вам не падабаецца гэта навука. Навукоўцы славутыя падпальшчыкі мастоў. Лепшы дынаміт эстакад для добрай меры. Галілеа спальвалі масты з Касцёлам. Ньютан і Гук спалілі мост так злосна, што яго святло працягвае асвятляць навуковы прагрэс. Навука складаецца з таго, што могуць быць правераны і прайграныя ці ж аспрэчана. P-ўзлом для «значных» вынікаў не з'яўляецца навукай. Падтрыманне блізкіх па духу адносін не з'яўляецца часткай навукі.
    дададзена аўтар Warren Schudy, крыніца
    Гэта не залежыць ад пункту гледжання. Гэта пытанне этычнай практыкі з рэальным наступствамі для даследчыка кар'еры, развіцця навукі і ўспрымання сацыёлага ў цэлым. На дадзеным этапе, гэта поле парушаецца. На дадзеным этапе, калі 60% апублікаваных знаходжання не можа быць прайграная, ніхто не павінен адкрыта быць кансультаванне выгляду практыкі OP згадваецца. На гэтым этапе даследчык павінен кіравацца іх этыкай, а не чакаць, пакуль яны не маюць дастаткова сілаў, каб зрабіць правільную рэч. Ваш каментар жудасны савет.
    дададзена аўтар Warren Schudy, крыніца
    Дзякуй усім за вашыя каментары, усе з якіх з'яўляюцца разумнымі і добрымі намерамі. У мяне няма часу для адказаў, так вось спроба зрабіць выснову. Вы згодны з тым, што было б лепш (I) прысутнічаць пратэст, калі вы ведаеце pirori, што нічога добрага змены не адбудзецца, і што вы будзеце заключаны ў турму за ўдзел, або (б) чакаць няпэўны, але верагодны шанец эфектыўна пратэставаць пазней? Я мяркую, (II). Гэта аналагічна таму, што ФП ў? Я так думаю. Тым не менш, відавочна, што некаторыя з вас не згодны. Ніхто з нас не можа ведаць напэўна, так што я мяркую, што мы павінны пакінуць яго ў гэтым.
    дададзена аўтар Terri, крыніца
    Можна сцвярджаць, што заўсёды будзе хто-то над вамі з суб-пар этычных стандартаў, так што вы можаце ў канчатковым выніку ніколі не кінуць выклік сістэме. І калі вы гэта зробіце, вашы апаненты будуць проста выставіць свае працы, якія маюць той жа недахоп, вы будзеце спрачаючыся супраць. Гэта будзе па-чартоўску цяжка агучыць давер тады.
    дададзена аўтар Dmitry Grigoryev, крыніца