کشف گاف
توماس هرندون چگونه گاف بزرگ مقاله راینهارت-راگوف را کشف کرد؟
از مهم‌ترین تمرین‌های یک دانشجوی اقتصاد، پیاده‌سازی دوباره یک مقاله است. دانشجو برای پیاده‌سازی دوباره مقاله و دستیابی به یافته‌های مشابه، نیاز به داده‌های استفاده‌شده در آن مقاله دارد که در بسیاری از مواقع این امر امکان‌پذیر نیست و به همین دلیل از داده‌های مشابه استفاده می‌شود. همچنین به دانشجو توصیه می‌کنند همگام با پیاده‌سازی، با دیدگاهی انتقادی به مقاله و روش استفاده‌شده در آن بنگرد و سعی در بهبود آن داشته باشد و اگر یافته‌هایش مشابه مقاله اصلی نشد، علت این تفاوت را پیدا کند. اما سوالاتی در این زمینه پیش می‌آید از جمله اینکه آیا این دیدگاه انتقادی باید نسبت به مقالات معتبر هم وجود داشته باشد؟ آیا مقالات علمی معتبر همواره درست هستند یا می‌توان با دیده شک به آنها نگریست؟
چند سال پیش یک دانشجوی گمنام به صورت اتفاقی متوجه شد یکی از مقالات علمی معروف که معمولاً برای توجیه اقدامات ریاضتی دولت‌ها به آن ارجاع داده می‌شود، حاوی اشتباهات فاحشی است. نکته جالب این بود که نویسندگان مقاله دو استاد برجسته دانشگاه هاروارد بودند، و فردی که موفق شد گاف دو اقتصاددان سرشناس را بگیرد، دانشجویی بود که موقع انجام تکالیفش متوجه این خطای وحشتناک شد. در این نوشته می‌خواهم داستان دانشجوی دکترای اقتصادی را بازگو کنم که در حین تمرین درس اقتصادسنجی، یکی از معتبرترین مقالات علمی دوران خود را زیر سوال برد. توماس هرندون ثابت کرد مقاله دو استاد معتبر هاروارد یعنی کارمن راینهارت و کنث راگوف، دارای خطای محاسباتی است. جریان چه بود؟
دانشجویی که مچ دو اقتصاددان معتبر را گرفت
بیشتر دانشجویان دکترا روزهای خود را با خواندن کتاب و مقاله و استرس در مورد بازار کار می‌گذرانند. توماس هرندون زمانی که دانشجوی اقتصاد در دانشگاه ماساچوست امهرست بود فقط بخشی از ترم بهار خود را به مطالعه اختصاص داد اما در همین زمان کوتاه موفق شد بنیان فکری جنبش ریاضت جهانی را متزلزل کند.
اعتراضات مردم کشورها به ریاضت اقتصادی مربوط به زمانی بود که در چندین کشور اروپایی به صورت دنباله‌دار به سیاست‌های اقتصادی اعتراض صورت گرفت. موج اعتراضات عمومی در کشورهای اروپایی که با تظاهرات میلیونی و اعتصاب سراسری فرانسه در آبان ۱۳۸۹ آغاز شد، به تدریج به دیگر کشورهای حوزه یورو کشانده شده است. تظاهرات در اعتراض به سیاست‌هایی صورت گرفت که ریاضت اقتصادی را توصیه می‌کردند.
هرندون، که تحصیلات خود را در مقطع کارشناسی در کالج ایالتی اورگرین به پایان رسانده بود، ابتدا کار بر مقاله کارمن راینهارت و کنث راگوف را به عنوان بخشی از تکلیف درس اقتصادسنجی خود آغاز کرد. کار او در اصل مثل خیلی از دانشجویان مقطع دکترا، پیاده‌سازی دوباره یک مقاله معتبر بود.
هرندون مقاله «رشد در زمان بدهی» را انتخاب کرد، چراکه این مقاله یکی از سیاسی‌ترین مقاله‌های اقتصادی آن دوران به‌شمار می‌رفت. در این مقاله ادعا می‌شود کشورهایی که بدهی آنها بیش از 90 درصد تولید ناخالص داخلی سالانه آنهاست، رشد کندتری نسبت به کشورهایی دارند که کمتر بدهکارند- موردی که از سوی افرادی مانند پل رایان و تیم گایتنر برای توجیه کاهش هزینه‌های دولت آمریکا و اجرای سایر موارد تدابیر ریاضت اقتصادی استفاده شده است.
هرندون قبل از آنکه گزارش خود را تحویل دهد، بارها برای راینهارت و راگوف پست الکترونیکی ارسال کرد، تا بتواند مجموعه داده‌های آنها را دریافت کرده و آن را با کار خود مقایسه کند. اما از آنجا که او تنها یک دانشجوی دکترا بود و از برخی از معتبرترین اقتصاددانان جهان درخواستی کرده بود، هیچ پاسخی دریافت نکرد، تا اینکه یک روز بعد از ظهر نامه‌ای الکترونیکی از طرف راینهارت دریافت کرد. هرندون می‌گوید: «من نامه الکترونیکی خود را بررسی کردم و دیدم که جوابی از کارمن راینهارت دریافت کرده‌ام. او گفت که وقت ندارد به پرسش من بپردازد، اما این داده‌هاست، و من این اختیار را دارم که هر نتیجه‌ای را پیدا کردم منتشر کنم.»
هرندون یک صفحه اکسل که حاوی داده‌های رینهارت بود تهیه کرد و به سرعت چیزی را که عجیب به نظر می‌رسید تشخیص داد. «من بر روی سلول L51 کلیک کردم و دیدم که آنها به جای سطرهای 30 تا 49 فقط از سطرهای 30 تا 44 میانگین گرفته بودند.»
آنچه هرندون کشف کرده این بود که با وقوع یک خطای محاسباتی ناآگاهانه، راینهارت و راگوف فراموش کرده بودند داده‌های مهمی از کشورهایی با نسبت بدهی به تولید ناخالص داخلی بالا را که می‌تواند بر محاسبات کلی آنها تاثیر بگذارد وارد کنند. آنها همچنین داده‌های کانادا، نیوزیلند و استرالیا، یعنی همه کشورهایی را که در دوره‌های بدهی بالا رشد خوبی داشته‌اند و در نتیجه یافته مقاله را که «بدهی مانع رشد می‌شود» زیر پا می‌گذاشتند، حذف کرده‌اند.
هرندون متحیر شده بود. او به عنوان یک دانشجوی تحصیلات تکمیلی، در یک مطالعه مشهور اقتصادی مشکلات جدی پیدا کرده است، درست مثل اینکه یک دروازه‌بان آماتور فوتبال، پنالتی کریستیانو رونالدو را بگیرد. او می‌گوید: «افراد چیزی را که می‌بینند باور می‌کنند، اما من تقریباً آنچه می‌دیدم را باور نمی‌کردم. من برای اطمینان از دوستم که دانشجوی دکترای جامعه‌شناسی است درخواست کردم آن را مجدد بررسی کند. و او نیز مشاهده من را تایید کرد.»
در واقع اشتباهاتی که هرندون یافت بسیار بزرگ بود؛ به‌طوری که حتی استادان هرندون در ابتدا او را باور نمی‌کردند. طبق گزارش رویترز، رابرت پالین یکی از استادان هرندون گفت: «در ابتدا، من او را باور نمی‌کردم. فکر کردم، خب او دانشجو است، باید اشتباه کند. اینها اقتصاددانان برجسته‌ای هستند و او یک دانشجوی دکتراست. بنابراین ما به او فشار وارد کردیم و بعد از حدود یک ماه گفتم: «لعنت بر او، او درست می‌گوید».»
هرندون پس از مشورت با استادان خود، دو نفر از آنها، پالین و رئیس دانشکده مایکل اش، را به عنوان نویسندگان مشترک ثبت کرد، و هر سه به سرعت مقاله‌ای تهیه کردند که در آن یافته‌هایشان مشخص شده بود. این مقاله هسته اصلی بحثی بود که دهه‌هاست بین اقتصاددانان و سیاستمداران اختلاف ایجاد کرده است. طرفداران ریاضت اقتصادی معتقدند دولت‌ها برای رشد اقتصاد خود باید هزینه‌ها را کاهش دهند، در حالی که طرفداران ضد ریاضت اقتصادی معتقدند هزینه‌های دولت در مواقع فشار اقتصادی می‌تواند رشد ایجاد کند و بیکاری را کاهش دهد، حتی اگر بدهی را در کوتاه‌مدت افزایش دهد. در واقع هرندون و همکاران در اصل ادعا کردند که جنبش ریاضت اقتصادی به اطلاعات جعلی متکی است.
هنگامی که هرندون و استادانش مطالعه خود را منتشر کردند، واکنش تقریباً سریع بود. پس از انتشار ویروس‌گونه این مقاله از طریق پست وبلاگ کنچال، راینهارت و راگوف مجبور شدند خطای شرم‌آور خود را بپذیرند (اگرچه آنها هنوز از یافته‌های اساسی نظرسنجی خود دفاع می‌کردند). سپس، یکی دیگر از پروفسورهای ماساچوست امهرست، آرینراجیت دوب، مقاله هرندون را با اثبات اضافی مبنی بر وجود مشکلات جدی نظری و علی (به جای فقط اشتباه محاسباتی در اکسل) در مطالعه راینهارت و راگوف پیگیری کرد. ناظران سوالات جدی در مورد معنای کار هرندون برای آینده سیاست‌های ریاضت اقتصادی و اعتبار راینهارت و راگوف به عنوان دانشمندان مطرح کرده‌اند.
توماس هرندون و استادانش نتایج کارشان را در قالب پیش‌نویس یک مقاله منتشر کردند. بنا بر یافته‌های آنان، بالا بودن میزان بدهی‌های عمومی همچنان با کاهش رشد اقتصادی نسبت مستقیم دارد، اما مقاله آنان چشمگیرترین نتیجه‌گیری‌های مقاله راینهارت و راگاف را تایید نمی‌کند. میزان بالای بدهی با کاهش رشد اقتصادی نسبت مستقیم دارد، اما این نسبت کمرنگ‌تر از آن چیزی است که گمان می‌رفت، و علاوه بر آن، این قاعده هم استثنائات زیادی دارد.
راینهارت و راگوف هیچ‌گاه در این زمینه حاضر به مصاحبه نشدند اما بیانیه‌ای منتشر کردند. در این بیانیه آمده: «ما از هرندون و دیگران به‌دلیل توجه و دقتشان به مقاله رشد در دوران بدهکاری، و همچنین به‌خاطر اینکه ایراد نمودار شماره ۲ را به ما گوشزد کردند، متشکریم. اینکه با وجود همه تلاش‌های ما برای درستی محتوای مقاله، چنین خطایی توانسته به آن راه پیدا کند، هشداری برای ماست و باعث می‌شود از این به بعد بیشتر در کارمان دقت کنیم. ما در آینده نهایت تلاشمان را خواهیم کرد تا چنین اشتباهاتی دیگر تکرار نشوند. با این حال، به اعتقاد ما این خطای تاسف‌بار پیام اصلی این مقاله یا کارهای بعدی ما را به طرز قابل توجهی تحت تاثیر قرار نمی‌دهد.»
پیش آمدن چنین اتفاقاتی طبیعی است، و پیشرفت‌های علمی از طریق شناسایی اشتباهات قبلی امکان‌پذیر شده اند. اما آیا این اشتباه به‌خصوص هزینه فوق‌العاده زیادی داشته است؟
دانیل همرمش، استاد اقتصاد در دانشگاه لندن، می‌گوید: «فکر نمی‌کنم نرخ اشتغال به این خاطر پایین آمده باشد، اما این مقاله برای اقداماتی که نگاه مردم به جهان را تحت تاثیر قرار می‌دهند، توجیه عقلانی فراهم می‌کند. و این دیدگاه مردم، به‌خصوص سیاستمداران است که نهایتا بر نحوه اداره امور جهان تاثیر می‌گذارد.»
هرندون می‌گوید که کار او به این معنی نیست که راینهارت و راگوف داده‌های خود را برای پشتیبانی از یافته‌های ریاضت اقتصادی تغییر داده‌اند و به راحتی اشتباهات را گزارش کرده‌اند. وی می‌گوید: «من نمی‌خواهم زنگ هشدار را به صدا دربیاورم و برای مشاغل کسی تماس بگیرم. من این کار را نکردم تا تنبیه‌کننده یا بدخواه باشم.»
با توجه به اینکه یک‌بار کار معتبر راینهارت و راگوف به صورت جدی زیر سوال قرار گرفته است، تردیدی نیست که جنبش ریاضت اقتصادی ضربه بزرگی خورده است. اما یافته‌های هرندون به احتمال زیاد مانع تلاش سیاستمداران برای کاهش کسری نخواهد شد. راهپیمایی جهانی برای ریاضت اقتصادی پیش از انتشار کارهای راینهارت و راگوف آغاز شد و تا زمانی که افرادی وجود داشته باشند که معتقدند دولت‌ها می‌توانند راه خود را برای شکوفایی کوتاه کنند، ادامه خواهد یافت.
ریشه مشکلات و دلایل آن
همه ما می‌دانیم اقتصاد علمی قطعی نیست. آزمایش‌های اقتصادی نیز در طی زمان و با توجه به داده‌های موجود رخ می‌دهند و یافته‌های علمی مقالات نیز از این داده‌ها ناشی می‌شود. با توجه به حجم بالای داده‌ها و اهمیت زیاد داده‌ها، کوچک‌ترین اشتباهی می‌تواند نتایج مقاله را دستخوش تغییر کند همان‌طور که در مورد مقاله راینهارت و راگوف مشاهده کردیم که یک اشتباه در توابع اکسل، به کلی باعث تحریف نتایج شد. نکته قابل توجه این است که این اشتباه سهوی و نتایج تحریف‌شده تنها به دلیل پیاده‌سازی دوباره مقاله به وسیله توماس هرندون و با به اشتراک‌گذاری داده‌ها و اکسل توسط استادان با وی آشکار شد. در واقع اگر استادان فایل‌های خود را به توماس هرندون نمی‌دادند، اشتباه این مقاله کشف نمی‌شد و سیاستمداران همچنان بر اساس یافته‌های این مقاله تصمیم‌گیری می‌کردند. در واقع این اتفاق، اهمیت دسترسی آزاد افراد آکادمیک به داده‌های استفاده‌شده در مقالات و پیاده‌سازی دوباره آنها را آشکار می‌کند. اما سوالی که پیش می‌آید این است که چرا این دسترسی آزاد و پیاده‌سازی دوباره مقالات به صورت گسترده رخ نمی‌دهد؟
برای این موضوع دو دلیل می‌توان متصور شد. دلیل اول این وضعیت نامناسب این است که اگر شما یک فرد دانشگاهی هستید، تکرار کارهای دیگران برای شما هیچ نفعی ندارد. کسی به شما پول نمی‌دهد تا کاری را که قبلاً انجام شده است تکرار کنید و هیچ ژورنالی هم نتایج شما را منتشر نمی‌کند. از نظر شغلی، تکرار یافته‌های موجود تقریباً همیشه اتلاف وقت کامل خواهد بود در حالی که می‌توانید این زمان را برای انجام کارهای اصلی خود صرف کنید.
دلیل دوم و شاید کمی کم‌اهمیت‌تر که پیاده‌سازی دوباره مقالات را نمی‌بینیم این است که دانشگاهیان داده‌های خود را آن‌طور که باید و شاید به اشتراک نمی‌گذارند. در بیشتر مطالعات در زمینه اقتصاد (و سایر زمینه‌هایی که به داده‌های موجود متکی هستند، مانند جامعه‌شناسی) تنها کافی است به داده‌های اصلی مقاله دسترسی داشته باشید تا بتوانید مقاله و یافته‌های آن را بازسازی کنید. تنها دلیلی که هرندون توانست به یافته‌های خود دست پیدا کند این بود که راینهارت و راگوف آنقدر مهربان بودند که داده‌ها و فایل اکسل خود را برای او ارسال کنند. بسیاری از دانشگاهیان چنین کاری نمی‌کنند. چرا این داده‌ها، داده‌هایی را که احتمالاً ماه‌ها برای جمع‌آوری آنها صرف کرده‌اید، برای شخصی که فقط می‌تواند از آنها برای تحقیقات خود استفاده کند ارسال کنید؟ چه اطمینانی وجود دارد که آنها از این داده‌ها استفاده نکنند تا به یافته جالب توجه‌تری برسند، برنامه تحقیقاتی خود را تنظیم کنند و شما را از کار بیکار کنند؟ علاوه بر این، چرا کارهای خود را به آنها نشان دهید؟ هنگام تحویل مثلاً یک گزارش تمام‌شده در محل کار خود، آیا می‌خواهید شخص دیگری هر مرحله را که گذرانده‌اید ببیند تا به گزارش نهایی برسد؟ اگر اشتباهی شرم‌آور در آنجا رخ داده باشد چه می‌شود؟
اشتباه عجیب راینهارت و راگوف آشکار شد (هرچند طبق ادعای خودشان نتایج آنها خیلی تغییر نکرد). اما صدها اشتباه مانند این هر روز از دنیای آکادمیک و از طریق مقالات می‌گذرد. این اشتباهات در مقاله‌هایی وجود دارند که ممکن است صدها یا هزاران بار و بعضاً توسط سیاستگذاران یا پزشکان -با توانایی آسیب رساندن واقعی به افراد واقعی- نقل شود. بنابراین امیدواریم که پرونده اشتباه راینهارت و راگوف و آشکار شدن آن در پروسه پیاده‌سازی دوباره توسط توماس هرندون، انگیزه‌ای برای دسترسی آزاد و بیشتر به داده‌ها و توجه بیشتر به پیاده‌سازی دوباره مقالات باشد.
