انسان‌شناسی انسان‌شناسی فرهنگی
بر پایه‌ی ۹ منبع علمی

چه چیزی محتوای ساخته‌شده با هوشواره را قابل اعتماد می‌کند؟

زنی با موهای باز پشت میز، خلاصه‌ای را که ماشین نوشته خط به خط با مقاله‌ی اصلی کنارش مقایسه می‌کند
۴ دقیقه کاوش آخرین به‌روزرسانی: ۴ مهر ۱۴۰۵
مفهوم‌های این کاوش هوشواره داوری کور تعمیم بی‌جا
این کاوش را چطور دوست داری دنبال کنی؟ ۴ ارائه‌ی دیگر در راه‌اند
نوشتار ۴ دقیقه کاوش
در حال خواندن
روخوانی نوشتار هنوز آماده نیست
به‌زودی

پاسخ کوتاه اعتماد به این نیست که یه متن رو کی نوشته، به اینه که بعدش کی چکش کرده و ما خودمون هم می‌تونیم چکش کنیم یا نه. هوشواره توی ترجمه یا رسوندن اطلاعات تقریباً هم‌پای آدمه، ولی وقتی پژوهشی رو خلاصه می‌کنه عادت داره نتیجه رو بزرگ‌تر بگه. برای همین متنی که با هوشواره ساخته شده وقتی قابل اعتماده که یه آدم پیش از انتشار با منبع اصلی مقایسه‌ش کرده باشه، و پیوند همون منبع جلوی چشم ما باشه.

حسی که با یه برچسب عوض می‌شه

برات پیش اومده یه متن رو با لذت بخونی و بعد بفهمی هوشواره نوشته‌ش؟ خیلی‌هامون همون لحظه یه جور عقب‌کشیدن رو حس می‌کنیم، با این‌که کلمه‌ها عوض نشدن. چیزی که عوض شده اعتماد ماست.

یه نظرسنجی مؤسسه‌ی رویترز توی چند کشور همین حس رو اندازه گرفته: هرچی سهم آدم توی ساختن خبر بیشتر بود، مردم باهاش راحت‌تر بودن. همه‌ی کارها رو هم یه‌جور نمی‌بینن: هوشواره برای ترجمه یا درست کردن املا خیلی پذیرفتنی‌تره تا به‌عنوان مجری یا نویسنده‌ی خبر.

انگار مشکل ما خودِ ابزار نیست. می‌خوایم بدونیم آخر کار کی پاش ایستاده.

هرچه سهم آدم در ساختن خبر بیشتر، مخاطب راحت‌تر. نظرسنجی مؤسسه‌ی رویترز.
یک واژه هوشواره (Artificial Intelligence) ماشینی که از روی حجم زیادی متن و داده یاد می‌گیره بنویسه، ترجمه کنه یا حرف بزنه.

جایی که ماشین هم‌پای آدمه

ترجمه رو در نظر بگیر، که به نظر ظریف‌تر از توان ماشینه. ولی توی رقابتی که هر سال ترجمه‌ی ماشینی رو محک می‌زنه، داورها بدون این‌که بدونن هر ترجمه کار کیه نمره دادن، به روشی که بهش می‌گن داوری کور. نتیجه؟ توی بیشتر زبان‌ها، بهترین هوشواره و مترجم حرفه‌ای توی یه گروه نشستن و داورها نتونستن بگن کدوم بهتره.

صدا هم همین‌طوره، با یه فرق: توی یه ارزیابی، پادکست ساخته‌شده با هوشواره اطلاعات رو به خوبیِ پادکست واقعی رسوند، ولی به گوش شنونده‌ها کمتر شبیه آدم بود.

پس چرا هنوز آدم لازمه؟ جوابش رو خودِ برگزارکننده‌های همون رقابت دادن: نمره‌هایی که ماشین خودکار می‌ده سوگیری داره، و داور نهایی کیفیت باید آدم باشه. حتی جایی که ماشین هم‌پای آدمه، کسی که می‌گه «این خوبه» هنوز آدمه.

یک واژه داوری کور (Blind evaluation) روشی که توش داور نمی‌دونه هر نمونه کار کیه، تا چیزی جز خودِ کیفیت روی نمره‌ش اثر نذاره.
تعمیم بی‌جا در خلاصه‌ی هوشواره، نسبت به خلاصه‌ی آدم حدود ۵ برابر مدل‌های تازه‌تر حتی بدتر از قدیمی‌ترها بودن.

جایی که ماشین پاشو فراتر می‌ذاره

خلاصه کردن ماجرای دیگه‌ایه. پژوهشگرها هزاران خلاصه‌ی هوشواره از مقاله‌های علمی رو با خودِ مقاله‌ها مقایسه کردن. بیشترشون نتیجه رو کلی‌تر از چیزی گفتن که پژوهش نشون داده بود، حتی وقتی صریح ازشون دقت خواسته شده بود. به این کار می‌گن تعمیم بی‌جا، و هوشواره خیلی بیشتر از آدم‌ها گرفتارش بود.

این مهمه، چون خلاصه‌ی ساده اثر داره. توی یه آزمایش، خلاصه‌ی ساده‌شده با هوشواره کنار یه پست علمی هم فهمیدنش رو آسون‌تر کرد و هم هم‌رسانیش رو بیشتر. حالا اگه همون خلاصه پاشو از پژوهش فراتر گذاشته باشه چی؟ ادعای بزرگ‌تر سریع‌تر پخش می‌شه.

اینجا نقش آدم معلوم می‌شه. توی یه برنامه‌ی پژوهشی، پیش‌نویس‌های هوشواره زیر دست ویراستار کلی اصلاح خوردن و متن نهایی هم خواناتر شد هم خواننده رو بیشتر نگه داشت. یه پژوهشگر دیگه پیشنهاد کرده کنار هر خلاصه‌ی هوشواره یه چک‌لیست کوتاه بیاد: یافته‌ها درسته؟ بیشتر از پژوهش ادعا نکرده؟ محدودیت‌ها اومده؟ پیوند متن اصلی هست؟

یک واژه تعمیم بی‌جا (Overgeneralization) وقتی نتیجه‌ای که فقط برای یه گروه یا یه شرایط خاص به دست اومده، طوری گفته بشه که انگار برای همه و همیشه درسته.

ترسی که از نوشتن شروع شد

این نگرانی تازه نیست. افلاطون از زبان سقراط نقل می‌کنه که وقتی نوشتن اختراع شد، پادشاهی توی مصر گفت این اختراع توی ذهن آدم‌ها فراموشی می‌کاره، چون دیگه حافظه‌شون رو تمرین نمی‌دن. امروز خیلی از ما همین حس رو درباره‌ی هوشواره داریم.

دکتر حامد وحدتی‌نسب، باستان‌شناس، این مقاومت رو با مقاومتی مقایسه می‌کنه که سر راه آنلاین شدن کتاب‌ها بود. راه‌حلش کنار گذاشتن ابزار نیست: به دانشجوهاش می‌گه از هوشواره جوابی بخوان که مقاله و شماره‌ی صفحه و پیوند داشته باشه، یعنی جوابی که بشه چکش کرد.

پس شاید سؤال درست «اینو هوشواره نوشته؟» نباشه، بلکه اینه که کی چکش کرده و ما خودمون می‌تونیم چکش کنیم؟ و از همین‌جا سؤال بزرگ‌تری باز می‌شه: مرز بین کمک گرفتن از هوشواره و سپردن کار به اون کجاست؟

هوشواره توی ترجمه هم‌پای آدمه ولی توی خلاصه کردن ادعا رو بزرگ می‌کنه. متنش وقتی قابل اعتماده که یه آدم با منبع اصلی چکش کرده باشه و پیوند منبع جلوی چشم ما باشه.

سؤال این نیست که متن رو کی نوشته؛ اینه که کی چکش کرده.

این پاسخ از کجا آمده

هر چیزی که بالا خواندی از این ۹ منبع بیرون آمده. اگر خواستی خودت سرچشمه را ببینی، لینک‌ها همین‌جاست.

۹ منبع
۱ Kocmi et al., Findings of the WMT24 General Machine Translation Shared Task, Proceedings of the Ninth Conference on Machine Translation, 2024 داوری کور ترجمه‌ها و هم‌سطح بودن بهترین هوشواره با مترجم حرفه‌ای، و این‌که داور نهایی کیفیت باید آدم باشد (بخش «جایی که ماشین هم‌پای آدمه») پژوهش داوری‌شده ۲ Uwe Peters & Benjamin Chin-Yee, Generalization bias in large language model summarization of scientific research, Royal Society Open Science, 2025 تعمیم بی‌جا در خلاصه‌های هوشواره، نسبت آن به خلاصه‌های آدم، و بدتر بودن مدل‌های تازه‌تر (بخش «جایی که ماشین پاشو فراتر می‌ذاره») پژوهش داوری‌شده ۳ Lewczak et al., Balancing Efficiency and Engagement: AI-Assisted Content for Research Communications in the RECOVER Initiative, Research Square (پیش‌چاپ), 2025 بازبینی پیش‌نویس‌های هوشواره توسط ویراستار و اثرش بر خوانایی و ماندن خواننده (بخش «جایی که ماشین پاشو فراتر می‌ذاره») پژوهش داوری‌شده ۴ Can I Trust and Share it? Enhancing Scientific Content in Social Media Posts with Additional Information, Proceedings of the 36th ACM Conference on Hypertext and Social Media, 2025 خلاصه‌ی ساده‌شده با هوشواره فهم را آسان‌تر و هم‌رسانی را بیشتر می‌کند (بخش «جایی که ماشین پاشو فراتر می‌ذاره») پژوهش داوری‌شده ۵ Yujia Xiao et al., PodEval: A Multimodal Evaluation Framework for Podcast Audio Generation, arXiv (پیش‌چاپ), 2025 پادکست ساخته‌شده با هوشواره در رساندن اطلاعات هم‌پای پادکست واقعی ولی کمتر شبیه آدم (بخش «جایی که ماشین هم‌پای آدمه») پژوهش داوری‌شده ۶ Felix Simon, Rasmus Kleis Nielsen & Richard Fletcher, Generative AI and News Report 2025, Reuters Institute, University of Oxford راحتی مخاطب با خبر بسته به سهم آدم و هوشواره، و پذیرش بیشتر کارهای پشت صحنه مثل ترجمه (بخش «حسی که با یه برچسب عوض می‌شه») نهاد رسمی ۷ George Veletsianos, Simple Checklists to Verify the Accuracy of AI-Generated Research Summaries, TechTrends 69, 2025 چک‌لیست کوتاه کنار هر خلاصه‌ی هوشواره (بخش «جایی که ماشین پاشو فراتر می‌ذاره») پژوهش داوری‌شده ۸ Matt Bluemink, Socrates, Memory & The Internet, Philosophy Now, Issue 122 (نقل از «فایدروس» افلاطون) هشدار «فایدروس» درباره‌ی اختراع نوشتن و فراموشی (بخش «ترسی که از نوشتن شروع شد») رسانه‌ی علمی ۹ حامد وحدتی‌نسب در گفت‌وگو با Cozy Corner، قسمت ۸۶، آبان ۱۴۰۴ مقایسه‌ی مقاومت در برابر هوشواره با مقاومت در برابر آنلاین شدن کتاب‌ها، و شرط جواب قابل‌بررسی (بخش «ترسی که از نوشتن شروع شد») رسانه‌ی علمی