เราขอคำแนะนำจากผู้เชี่ยวชาญตลอดเวลา บริษัทอาจขอคำแนะนำจากนักเศรษฐศาสตร์เกี่ยวกับวิธีการจูงใจพนักงาน รัฐบาลอาจถามว่าการปฏิรูปนโยบายจะมีผลอย่างไร ในการให้คำแนะนำ ผู้เชี่ยวชาญมักจะต้องการดึงเอาผลการทดลองมาใช้ แต่พวกเขาไม่มีหลักฐานการทดลองที่เกี่ยวข้องเสมอไป การรวบรวมคำทำนายของผู้เชี่ยวชาญเกี่ยวกับผลการวิจัยอาจเป็นเครื่องมือใหม่ที่ทรงพลังในการช่วยปรับปรุงวิทยาศาสตร์ และคำแนะนำที่นักวิทยาศาสตร์มอบให้
ในช่วงไม่กี่ทศวรรษที่ผ่านมา ความเข้มงวดและความโปร่งใสทางวิชา
การ โดยเฉพาะอย่างยิ่งในสาขาสังคมศาสตร์ได้พัฒนาขึ้นอย่างมาก อย่างไรก็ตาม ดังที่ Alan Finkel หัวหน้านักวิทยาศาสตร์ของออสเตรเลียได้โต้เถียงเมื่อเร็วๆ นี้ว่า ยังมีอีกมากที่ต้องทำเพื่อลด “วิทยาศาสตร์ที่ไม่ดี” ให้เหลือน้อยที่สุด
เขาแนะนำให้เปลี่ยนวิธีวัดผลและให้ทุนวิจัย อีกแนวทางหนึ่งที่แพร่หลาย มากขึ้น คือการดำเนินการวิจัยแบบสุ่มที่มีกลุ่มควบคุมและการศึกษาแบบลงทะเบียนล่วงหน้าเพื่อหลีกเลี่ยงความลำเอียงในการรายงานผล การคาดการณ์ของผู้เชี่ยวชาญยังเป็นอีกเครื่องมือหนึ่งในการทำให้การวิจัยแข็งแกร่งขึ้น เนื่องจากผู้เขียนร่วมของฉัน Stefano DellaVigna, Devin Pope และฉันได้โต้เถียงกันในบทความใหม่ที่ตีพิมพ์ในScience
วิธีที่เราตีความผลการวิจัยขึ้นอยู่กับสิ่งที่เราเชื่ออยู่แล้ว ตัวอย่างเช่น หากเราเห็นงานวิจัยที่อ้างว่าการสูบบุหรี่ดีต่อสุขภาพ เราคงจะค่อนข้างไม่เชื่อ
หากผลที่ได้ทำให้ผู้เชี่ยวชาญประหลาดใจ ข้อเท็จจริงนั้นก็เป็นข้อมูลที่เป็นประโยชน์ อาจบ่งชี้ว่ามีบางอย่างผิดปกติกับการออกแบบการศึกษา
หรือหากการศึกษาได้รับการออกแบบมาอย่างดีและมีการทำซ้ำการค้นพบ เราอาจคิดว่าผลลัพธ์นั้นเปลี่ยนความเข้าใจโดยพื้นฐานของเราเกี่ยวกับวิธีการทำงานของโลก
แต่ในปัจจุบันนักวิจัยแทบไม่ได้รวบรวมข้อมูลที่จะทำให้พวกเขาสามารถเปรียบเทียบผลลัพธ์กับสิ่งที่ชุมชนวิจัยเชื่อมาก่อน สิ่งนี้ทำให้ยากต่อการตีความความแปลกใหม่และความสำคัญของผลลัพธ์
กระบวนการเผยแพร่ทางวิชาการยังเต็มไปด้วยอคติต่อการเผยแพร่ผลลัพธ์ที่ไม่มีนัยสำคัญหรือ “เป็นโมฆะ”
การรวบรวมการคาดการณ์ล่วงหน้าของผลการวิจัยสามารถต่อสู้
กับอคตินี้ได้โดยการทำให้ผลลัพธ์ที่ไม่มีค่าน่าสนใจมากขึ้น เนื่องจากอาจบ่งบอกถึงการออกจากภูมิปัญญาที่ยอมรับได้ เช่นเดียวกับการปรับปรุงการตีความผลการวิจัยโดยตรง การรวบรวมการคาดการณ์ล่วงหน้าสามารถช่วยให้เราเข้าใจว่าผู้คนเปลี่ยนความคิดอย่างไร
ตัวอย่างเช่น เพื่อนร่วมงานของฉัน Aidan Coville และฉันรวบรวมการคาดการณ์ล่วงหน้าจากผู้กำหนดนโยบายเพื่อศึกษาว่าผลการวิจัยเชิงวิชาการส่งผลต่อความเชื่อของพวกเขาอย่างไร เราพบว่าโดยทั่วไปแล้วพวกเขาเปิดรับ “ข่าวดี” มากกว่า “ข่าวร้าย” และเพิกเฉยต่อความไม่แน่นอนในผลลัพธ์ การคาดการณ์ยังสามารถแจ้งให้เราทราบว่าการศึกษาใดที่มีศักยภาพสามารถปรับปรุงการตัดสินใจด้านนโยบายได้มากที่สุด
ตัวอย่างเช่น สมมติว่าทีมวิจัยต้องเลือกหนึ่งในสิบสิ่งแทรกแซงเพื่อศึกษา สำหรับการแทรกแซงบางอย่าง เราค่อนข้างแน่ใจว่าการศึกษาจะพบอะไร และการศึกษาใหม่ไม่น่าจะเปลี่ยนความคิดของเราได้ สำหรับคนอื่น ๆ เราไม่แน่ใจ แต่ไม่น่าจะเป็นการแทรกแซงที่ดีที่สุด
หากมีการรวบรวมการคาดการณ์ไว้ล่วงหน้า จะสามารถบอกเราได้ว่าการแทรกแซงใดในการศึกษาที่จะส่งผลกระทบต่อนโยบายมากที่สุด ในระยะยาว หากการคาดการณ์ของผู้เชี่ยวชาญสามารถแสดงให้เห็นว่ามีความแม่นยำพอสมควร พวกเขาอาจให้การสนับสนุนบางอย่างสำหรับการตัดสินใจด้านนโยบายซึ่งไม่สามารถดำเนินการศึกษาอย่างเข้มงวดได้
ตัวอย่างเช่น Stefano DellaVigna และ Devin Pope รวบรวมการคาดการณ์ว่าสิ่งจูงใจต่างๆ เปลี่ยนแปลงความพยายามของผู้คนในการทำงานให้สำเร็จได้อย่างไร
ดังที่คุณเห็นในกราฟด้านล่าง การคาดการณ์นั้นไม่สมบูรณ์แบบ (จุดบนเส้นทแยงมุมจะแสดงการจับคู่ที่สมบูรณ์แบบระหว่างการคาดการณ์และผลลัพธ์) แต่ดูเหมือนจะมีความสัมพันธ์บางอย่างระหว่างการคาดการณ์โดยรวมและผลลัพธ์
เมื่อเวลาผ่านไป ข้อมูลนี้จะช่วยให้เราประเมินได้ว่านักพยากรณ์แต่ละรายมีความแม่นยำเพียงใด สอนเราถึงวิธีที่ดีที่สุดในการรวบรวมการคาดการณ์ และบอกเราว่าผลลัพธ์ประเภทใดมีแนวโน้มที่จะคาดการณ์ได้ดี เราสร้างแพลตฟอร์มที่นักวิจัยสามารถใช้เพื่อรวบรวมการคาดการณ์เกี่ยวกับการทดลองของพวกเขาจากนักวิจัย ผู้กำหนดนโยบาย ผู้ปฏิบัติงาน และผู้ชมที่สำคัญอื่นๆ สามารถดูเว็บไซต์รุ่นเบต้าได้ที่นี่
ในขณะที่เรากำลังมุ่งเน้นไปที่วินัยของเราเองเป็นอันดับแรก – เศรษฐศาสตร์ – เราคิดว่าเครื่องมือดังกล่าวควรมีประโยชน์ในวงกว้าง เราขอแนะนำให้นักวิจัยในสาขาวิชาการใด ๆ พิจารณารวบรวมการคาดการณ์ผลการวิจัย มีความเป็นไปได้หลายประการในการทำนายผลการวิจัยนอกเหนือจากที่อธิบายไว้ที่นี่ นักวิชาการอื่น ๆ อีกมากมายกำลังสำรวจพื้นที่นี้เช่นตลาดการจำลองแบบและ โครงการ repliCATSซึ่งเป็นส่วนหนึ่งของการริเริ่มการวิจัย ขนาดใหญ่ เกี่ยวกับการจำลองแบบ
การใช้การคาดการณ์การวิจัยที่เป็นไปได้หลายอย่างทำให้เรามั่นใจว่าการปฏิบัติต่อความเชื่อก่อนหน้านี้อย่างเข้มงวดและเป็นระบบสามารถปรับปรุงการตีความผลการวิจัยได้อย่างมากและปรับปรุงวิธีการทางวิทยาศาสตร์ของเราในท้ายที่สุด
