چی محتوای ساختهشده با هوشواره رو قابل اعتماد میکنه؟
هزارنواHEZARNAVA
مجلهٔ مستقل موسیقی به زبان فارسی: خبر، نقد و بررسی و یادداشت.
از هزارنوا ممنونیم که همراه این کاوش است.
چه چیزی محتوای ساختهشده با هوشواره را قابل اعتماد میکند؟ — ۱۲ دقیقه
از نظرسنجی مؤسسهی رویترز تا خطایی که در نسخهی اول همین قسمت پیدا شد
در قسمت اول فصل دوم «پژواکِ کاوش»، کیان و سارینا سراغ موضوعی میروند که به خودِ این پادکست هم مربوط است: محتوایی که با کمک هوشواره ساخته میشود، کی و چرا قابل اعتماد است؟
نظرسنجی مؤسسهی رویترز در شش کشور نشان میدهد راحتی مردم با خبر، پلهپله با سهم آدم در کار بالا میرود: از دوازده درصد برای خبری که تماماً هوشواره ساخته، تا شصت و دو درصد برای خبری که تماماً کار آدم است. در داوری کورِ یک رقابت بینالمللی ترجمه هم بهترین هوشوارهها و مترجمهای حرفهای در بیشتر زبانها همسطح بودند، نه یکی جلوتر از دیگری.
گره اصلی در خلاصه کردن است. پژوهشی روی چهار هزار و نهصد خلاصه نشان داد هوشواره حدود پنج برابر بیشتر از آدمها نتیجهی یک پژوهش را کلیتر از آنچه واقعاً نشان داده میگوید، و مدلهای تازهتر حتی بدتر بودند. همین خطا در نسخهی اول همین قسمت هم راه پیدا کرده بود، و یک ناظر انسانی با مقایسهی متن با منبع اصلی آن را پیدا کرد.
از نگرانیای که افلاطون دربارهی اختراع نوشتن نقل میکند تا توصیهی دکتر حامد وحدتینسب، باستانشناس، به دانشجویانش که از هوشواره جوابی بخواهند که بشود چکش کرد، این قسمت به یک پرسش ساده میرسد: مهم این نیست که چه کسی نوشته، مهم این است که چه کسی چکش کرده.
این پادکست با کمک هوشواره ساخته میشود؛ اگر مکث عجیب یا تُپُقی شنیدید، به ما بگویید.
بیشتر بخوانید، نوشتار همین موضوع در کاوش:
متن کامل گفتگوروی هر جمله بزن تا از همانجا پخش شود
پاسخ کوتاه اعتماد به این نیست که یه متن رو کی نوشته، به اینه که بعدش کی چکش کرده و ما خودمون هم میتونیم چکش کنیم یا نه. هوشواره توی ترجمه یا رسوندن اطلاعات تقریباً همپای آدمه، ولی وقتی پژوهشی رو خلاصه میکنه عادت داره نتیجه رو بزرگتر بگه. برای همین متنی که با هوشواره ساخته شده وقتی قابل اعتماده که یه آدم پیش از انتشار با منبع اصلی مقایسهش کرده باشه، و پیوند همون منبع جلوی چشم ما باشه.
حسی که با یه برچسب عوض میشه
برات پیش اومده یه متن رو با لذت بخونی و بعد بفهمی هوشواره نوشتهش؟ خیلیهامون همون لحظه یه جور عقبکشیدن رو حس میکنیم، با اینکه کلمهها عوض نشدن. چیزی که عوض شده اعتماد ماست.
یه نظرسنجی مؤسسهی رویترز توی چند کشور همین حس رو اندازه گرفته: هرچی سهم آدم توی ساختن خبر بیشتر بود، مردم باهاش راحتتر بودن. همهی کارها رو هم یهجور نمیبینن: هوشواره برای ترجمه یا درست کردن املا خیلی پذیرفتنیتره تا بهعنوان مجری یا نویسندهی خبر.
انگار مشکل ما خودِ ابزار نیست. میخوایم بدونیم آخر کار کی پاش ایستاده.
جایی که ماشین همپای آدمه
ترجمه رو در نظر بگیر، که به نظر ظریفتر از توان ماشینه. ولی توی رقابتی که هر سال ترجمهی ماشینی رو محک میزنه، داورها بدون اینکه بدونن هر ترجمه کار کیه نمره دادن، به روشی که بهش میگن داوری کور. نتیجه؟ توی بیشتر زبانها، بهترین هوشواره و مترجم حرفهای توی یه گروه نشستن و داورها نتونستن بگن کدوم بهتره.
صدا هم همینطوره، با یه فرق: توی یه ارزیابی، پادکست ساختهشده با هوشواره اطلاعات رو به خوبیِ پادکست واقعی رسوند، ولی به گوش شنوندهها کمتر شبیه آدم بود.
پس چرا هنوز آدم لازمه؟ جوابش رو خودِ برگزارکنندههای همون رقابت دادن: نمرههایی که ماشین خودکار میده سوگیری داره، و داور نهایی کیفیت باید آدم باشه. حتی جایی که ماشین همپای آدمه، کسی که میگه «این خوبه» هنوز آدمه.
جایی که ماشین پاشو فراتر میذاره
خلاصه کردن ماجرای دیگهایه. پژوهشگرها هزاران خلاصهی هوشواره از مقالههای علمی رو با خودِ مقالهها مقایسه کردن. بیشترشون نتیجه رو کلیتر از چیزی گفتن که پژوهش نشون داده بود، حتی وقتی صریح ازشون دقت خواسته شده بود. به این کار میگن تعمیم بیجا، و هوشواره خیلی بیشتر از آدمها گرفتارش بود.
این مهمه، چون خلاصهی ساده اثر داره. توی یه آزمایش، خلاصهی سادهشده با هوشواره کنار یه پست علمی هم فهمیدنش رو آسونتر کرد و هم همرسانیش رو بیشتر. حالا اگه همون خلاصه پاشو از پژوهش فراتر گذاشته باشه چی؟ ادعای بزرگتر سریعتر پخش میشه.
اینجا نقش آدم معلوم میشه. توی یه برنامهی پژوهشی، پیشنویسهای هوشواره زیر دست ویراستار کلی اصلاح خوردن و متن نهایی هم خواناتر شد هم خواننده رو بیشتر نگه داشت. یه پژوهشگر دیگه پیشنهاد کرده کنار هر خلاصهی هوشواره یه چکلیست کوتاه بیاد: یافتهها درسته؟ بیشتر از پژوهش ادعا نکرده؟ محدودیتها اومده؟ پیوند متن اصلی هست؟
ترسی که از نوشتن شروع شد
این نگرانی تازه نیست. افلاطون از زبان سقراط نقل میکنه که وقتی نوشتن اختراع شد، پادشاهی توی مصر گفت این اختراع توی ذهن آدمها فراموشی میکاره، چون دیگه حافظهشون رو تمرین نمیدن. امروز خیلی از ما همین حس رو دربارهی هوشواره داریم.
دکتر حامد وحدتینسب، باستانشناس، این مقاومت رو با مقاومتی مقایسه میکنه که سر راه آنلاین شدن کتابها بود. راهحلش کنار گذاشتن ابزار نیست: به دانشجوهاش میگه از هوشواره جوابی بخوان که مقاله و شمارهی صفحه و پیوند داشته باشه، یعنی جوابی که بشه چکش کرد.
پس شاید سؤال درست «اینو هوشواره نوشته؟» نباشه، بلکه اینه که کی چکش کرده و ما خودمون میتونیم چکش کنیم؟ و از همینجا سؤال بزرگتری باز میشه: مرز بین کمک گرفتن از هوشواره و سپردن کار به اون کجاست؟
هوشواره توی ترجمه همپای آدمه ولی توی خلاصه کردن ادعا رو بزرگ میکنه. متنش وقتی قابل اعتماده که یه آدم با منبع اصلی چکش کرده باشه و پیوند منبع جلوی چشم ما باشه.
سؤال این نیست که متن رو کی نوشته؛ اینه که کی چکش کرده.
این پاسخ از کجا آمده
هر چیزی که بالا خواندی از این ۹ منبع بیرون آمده. اگر خواستی خودت سرچشمه را ببینی، لینکها همینجاست.