ادعای یک ابزار تشخیص هوش مصنوعی: به احتمال 98 درصد اعلامیه استقلال آمریکا حاصل AI است!
به گزارش تیم علمی، در روزهایی که هراس از استفاده نابجا از هوش مصنوعی برای انجام تکالیف کلاس های درس و نگارش مقالات پژوهشی اوج گرفته، نرم افزارهای سنجش اصالت متن به ابزاری مشخص نماینده در دانشگاه ها تبدیل شده اند. اما، شواهد تجربی نشان می دهد تکیه کورکورانه بر این الگوریتم ها پیامدهای ناگواری دارد؛ ابزارهایی که مشهورترین اسناد تاریخی دنیا را متونی حاصل کار چت بات ها قلمداد می نمایند و نویسندگان واقعی را در مظان اتهام تقلب قرار می دهند.
چرا سامانه های متکی بر یادگیری ماشین (Machine Learning)، شاهکارهای کلاسیک بشری را رباتیک می دانند؟ آیا می توان با قطعیت خط تفکیکی میان یک متن و فصیح انسانی و خروجی مدل های زبانی کشید، یا دانشگاه ها دانشجویان را قربانی الگوریتم های پر از خطا می نمایند؟ چگونه سندی که در قرن هجدهم میلادی روی کاغذ دست ساز امضا شده، از نگاه یک برنامه ابری مدرن، محصول مدل های زبانی امروزی جلوه می نماید؟
چرا سیستم های تشخیص هوش مصنوعی متن های کهن را ماشینی می دانند؟
سامانه های تشخیص هوش مصنوعی متون را بر اساس دو معیار آماری ارزیابی می نمایند: سردرگمی که مقدار غیرقابل پیش بینی بودن کلمات است و فوران واژگانی که باعث تغییرات طول و ساختار جملات می گردد. متن های کهن، اسناد حقوقی و بیانیه های رسمی به علت ساختار گرامری بی نقص، استفاده از واژگان فاخر و ریتم یکنواخت، از دید الگوریتم ها بسیار پیش بینی پذیر به نظر می رسند. به همین علت ابزارهایی مانند زیروجی پی تی (ZeroGPT) متن مقدمه اعلامیه استقلال آمریکا را با ضریب نزدیک به نود و هشت درصد ماشینی ارزیابی می نمایند، زیرا الگوهای استاندارد آن با معیارهای آموزش مدل های آماری هم پوشانی کامل دارد.
این خطا ریشه در فرضی بنیادین و نادرست دارد؛ توسعه دهندگان گمان نموده اند انسان همیشه بی نظم، محاوره ای و همراه با اشتباه می نویسد و هر متنی که اوج دقت و یکدستی نحوی را به نمایش بگذارد، حتماً محصول یک هوش مصنوعی مولد است.
مدل های آشکارساز به جای سنجش معنا یا ریشه شناسی تاریخی، تنها ماتریس احتمال توالی کلمات را محاسبه می نمایند. وقتی سندی با وسواس ادبی و چینش دقیق کلمات تدوین شده باشد، الگوریتم دچار خطای مثبت کاذب (False Positive) می گردد و آن را خروجی هوش مصنوعی به حساب می آورد.
اما این کاستی فنی تنها به کج فهمی درباره اسناد قرن هجدهم محدود نمی ماند. ابعاد ماجرا زمانی نگران نماینده می گردد که سرنوشت تحصیلی هزاران دانشجو و اعتبار شغلی نویسندگان به داده های متزلزل این ابزارها گره می خورد. چه سازوکاری باعث می گردد خروجی یک نویسنده چیره دست با آشفتگی های متنی ماشینی یکسان دانسته گردد و پشت پرده ساختار فنی این نرم افزارها چه رازهایی نهفته است؟
پیشینه تاریخی ارزیابی سبک شناسی و دشواری تفکیک فکر از محاسبه
کوشش برای تشخیص اصالت یک نوشته و انتساب آن به نویسنده ای تعیین، پدیده ای تازه نیست و ریشه در سبک سنجی (Stylometry) سنتی دارد. دهه ها پیش از ظهور پردازش زبان طبیعی (Natural Language Processing)، پژوهشگران با شمارش طول جملات، فراوانی حروف ربط و تنوع واژگان کوشش می کردند از اصالت یک متن سر دربیاورند.
مدل های زبانی امروزی با مقدار انبوهی از متون تاریخی و ادبی آموزش دیده اند و الگوهای ساختاری نویسندگان بزرگ را بازفراوری می نمایند. در نتیجه، وقتی یک آشکارساز متنی فاخر را می خواند، در واقع همان الگوهایی را می بیند که هوش مصنوعی برای فراوری جملات خوش ساخت از آن ها سرمشق گرفته است. فصل مشترک میان داده های آموزش ماشنی و اسناد کلاسیک، تناقضی پدید آورده که علم آمار هنوز راه چاره قطعی برای خروج از آن نیافته است.
آزمایش تجربی بر روی سند استقلال آمریکا و نتایج تامل برانگیز آن
کریستوفر پن (Christopher Penn)، دانشمند ارشد داده در موسسه تراست اینسایتس (Trust Insights)، پس از مشاهده مشاجرات آنلاین درباره اصالت محتواهای بازاریابی، تصمیم گرفت ادعای دقت آشکارسازها را بیازماید. او متنی از پیش نویس مشهور اعلامیه استقلال سال 1776 را وارد چند ابزار پرکاربرد کرد. نتیجه فراتر از تصور بود؛ ابزار زیروجی پی تی با قاطعیت گفت که 97.75 درصد این سند تاریخی حاصل کار هوش مصنوعی است.
این آزمایش نشان داد ابزارهایی که میلیون ها دلار ارزش بازاری دارند و ادعای کشف تقلب های علمی را مطرح می نمایند، در تشخیص یکی از شناخته شده ترین متون دنیا ناکام هستند. زمانی که نشریه دیکریپت (Decrypt) در آنالیز های جیسون نلسون (Jason Nelson) این آزمون را روی ابزارهای دیگر تکرار کرد، گرامرلی (Grammarly) و کوئیل بات (QuillBot) سند را کاملاً حاصل قلم انسان دانستند و جی پی تی زیرو (GPTZero) احتمال نگارش انسانی آن را حدود 89 درصد برآورد کرد؛ در حالی که زیروجی پی تی در این آزمایش تازه حتی با شدت بیشتری متن را تا 97.93 درصد محصول هوش مصنوعی نشان داد.
این ناهمگونی شدید میان نتایج ابزارهای گوناگون نشان داد که کاربران با یک استاندارد علمی یکپارچه روبرو نیستند، بلکه با الگوریتم های سلیقه ای و ناپایداری روبه رو هستند که خروجی های متناقضی صادر می نمایند.
آزمون بازنویسی آثار ادبی و شکست سنگین در تشخیص محتوای بازفراوریشده
برای آنالیز رفتار این نرم افزارها در جهت معکوس، داستان کوتاه علمی تخیلی ماشین می ایستد (The Machine Stops) نوشته ای. ام. فورستر (E. M. Forster) چاپ سال 1909 آنالیز شد. پژوهشگران با استفاده از مدل زبانی جی پی تی-4 او (ChatGPT-4o) این داستان کلاسیک را بازنویسی کردند تا کارایی آشکارسازها را در شناسایی ردپای متون دستکاری شده ارزیابی نمایند.
نتیجه این مرحله حتی از آزمایش قبلی نیز شگفت آورتر بود. گرامرلی توانست با دقت بالا نسخه اصیل انسانی را از روایت هوش مصنوعی تفکیک کند و جی پی تی زیرو نیز نسخه اصلی را با ضریب 97 درصد انسانی و نسخه بازنویسی شده را با ضریب 95 درصد ماشینی تشخیص داد. در مقابل، کوئیل بات بازنده شد و احتمال اصالت هر دو نسخه را صفر درصد ارزیابی کرد. زیروجی پی تی هم در کمال ناباوری نسخه بازنویسی شده به وسیله چت بات را با امتیاز 6.35 درصد ماشینی، اثری کاملاً انسانی قلمداد کرد؛ خطایی چشمگیر که بی اعتباری الگوریتم های تشخیص سطحی را به نمایش می گذارد.
شرح بیشتر: مفاهیم سردرگمی و فوران زبانی- معیار اصلی تشخیصی ابزارها
آشکارسازها با اتکا به شاخص ریاضی سردرگمی، مقدار غیرمنتظره بودن کلمات را میزان می گیرند. مدل های زبانی هنگام فراوری متن، همیشه کلماتی را انتخاب می نمایند که بر اساس توزیع احتمالات، بیشترین شانس هم نشینی را دارند. اگر متنی واژگان نامعمول، ساختارهای پیش بینی ناپذیر یا اصطلاحات غریب داشته باشد، شاخص سردرگمی آن بالا می رود و سیستم آن را حاصل فکر انسان قلمداد می نماید.
معیار دوم یعنی فوران واژگانی (Burstiness)، به نوسان طول جملات و ریتم نگارش اختصاص دارد. انسان ها به طور طبیعی جملات کوتاه ضربه ای را در کنار جملات طولانی و مرکب به کار می برند، در حالی که ماشین ها ساختار جملات را یکنواخت تر نگه می دارند. متون رسمی و شسته رفته به علت رعایت توازن ساختاری، فوران واژگانی پایینی دارند و سیستم های تشخیص متن آن ها را به اشتباه خروجی ماشین می دانند.
تبعات خطرناک خطای مثبت کاذب برای سرنوشت تحصیلی دانشجویان
دانشگاه ها شهریه های سنگینی از دانشجویان دریافت می نمایند و تعلیق یا اخراج یک دانشجو به اتهام تقلب دانشگاهی، پیامدهای جبران ناپذیری بر آینده شغلی او می گذارد. هنگامی که استادی گزارش یک نرم افزار تجاری را بدون درک فنی مبنای حکم انضباطی قرار می دهد، حقوق اولیه دانشجو تضییع می گردد. خطای مثبت کاذب به معنای متهم شدن فردی بی گناه به خطایی است که راه ساده ای برای اثبات بی گناهی در برابر آن وجود ندارد.
کریستوفر پن هشدار می دهد ابزاری که برای تصمیم گیری های حساس دانشگاهی به کار می رود باید مقدار خطای مثبت کاذب صفر داشته باشد؛ در غیر این صورت، استفاده از آن نقض عدالت آموزشی است. نهادهای علمی بدون در نظر گرفتن ضریب خطای بالای این نرم افزارها، نباید به گزارش هایی اعتماد نمایند که پایه های فنی متزلزلی دارند.
رویکرد ابزارهای ثبت فرآیند نگارش در برابر اسکنرهای پسینی
نقص های ساختاری آشکارسازها شرکت هایی مانند گرامرلی و جی پی تی زیرو را به تغییر رویکرد واداشته است. این موسسات اکنون به جای تکیه بر اسکن متن نهایی، به ابزارهای ثبت فرآیند نگارش (Authorship Tools) روی آورده اند؛ ابزارهایی مانند افزونه کروم گرامرلی که با ثبت روند تدوین سند، سهم قلم انسان، فراوری هوش مصنوعی و ویرایش های کمکی را به شکلی شفاف تعیین می نمایند.
الکس کوئی (Alex Cui)، مدیر ارشد فناوری جی پی تی زیرو، تاکید می نماید که داده های این نرم افزارها نباید مستقیماً مبنای تنبیه انضباطی قرار گیرند، بلکه صرفاً جنبه تشخیصی دارند. ثبت ضربات کلیدواژه، فواصل زمانی مکث نویسنده و روند اصلاح پیش نویس ها در نرم افزارهایی مثل گوگل داکس (Google Docs) با بهره گیری از مدل های پردازش زبان طبیعی، کوشش دارند خطای مثبت کاذب را به زیر یک درصد برسانند و شواهدی مطمئن تر برای اثبات اصالت متن فراهم نمایند.
سوگیری زبانی آشکارسازها علیه نویسندگان غیربومی
یکی از آسیب های جدی این سیستم ها، اجحاف در حق دانشجویان و پژوهشگرانی است که انگلیسی زبان مادری آن ها نیست. زبان آموزان معمولاً از دایره واژگان محدودتر و ساختارهای گرامری محتاطانه تر استفاده می نمایند تا مرتکب اشتباهات نگارشی نشوند.
این انطباق زیاد با الگوهای استاندارد باعث می گردد شاخص سردرگمی نوشته های این افراد به شدت پایین بیاید. سیستم های تشخیص با مشاهده این یکدستی، متن نویسنده غیربومی را ماشینی ارزیابی می نمایند. در واقع این الگوریتم ها افراد مسلط به دستور زبان استاندارد یا نویسندگان بین المللی را به علت نداشتن لغزش های زبانی جریمه می نمایند.
تضاد بنیادین بازی موش و گربه میان فراورینمایندگان و آشکارسازها
صنعت هوش مصنوعی مولد با سرعتی بالا رو به پیشرفت است و مدل های زبانی نو به گونه ای بهینه سازی می شوند که نوسانات واژگانی و ریتم طبیعی زبان انسان را بازآفرینی نمایند. این دگرگونی فنی، کارایی سیستم های تشخیص متن را بیش از پیش تضعیف نموده است.
هر بار که الگوریتم تازه ای برای شناسایی متن هوش مصنوعی توسعه می یابد، مهندسان مدل های زبانی راهی برای خنثی کردن آن پیدا می نمایند. با بهره گیری از شیوه هایی مانند بازنویسی متن (Paraphrasing) و تغییر دستورها (Prompts)، می توان آشکارسازها را فریب داد. تداوم این چرخه بی سرانجام گواهی می دهد که راه چاره جلوگیری از سوءاستفاده های علمی، نرم افزارهای اسکن متن نیستند.
جلوگیری از قضاوت کورکورانه و ضرورت اصلاح سامانه های ارزیابی
نهادهای آموزشی و ناشران علمی باید شیوه های ارزشیابی سنتی را بازنگری نمایند. ارزیابی مهارت یک پژوهشگر یا دانشجو نباید صرفاً به سنجش متنی ایستا محدود گردد که با یک کلیک به دست الگوریتم های نامطمئن سپرده می گردد.
آزمون های شفاهی، دفاع حضوری از ایده ها و آنالیز پیش نویس های گام به گام، توان تحلیلی واقعی فرد را نشان می دهند. واگذاری قدرت قضاوت اخلاقی به ابزارهایی که حتی در تشخیص متن سند استقلال آمریکا از متن ماشینی درمی مانند، حاکی از عقب نشینی خطرناک تفکر انتقادی در برابر سامانه های ناکارآمد است.
چرا سبک فاخر کلاسیک با خروجی مدل های زبانی امروزی اشتباه گرفته می گردد؟
نوشته های سده های گذشته به سبب وسواس در نگارش و پیروی از دستور زبان کلاسیک، از الگوهایی پیروی می نمایند که بیشترین شباهت را با متون پالایش شده در آموزش مدل های هوش مصنوعی دارد. داده های مصرفی هوش مصنوعی بر اساس متون ویراسته و استاندارد شکل گرفته اند.
در مقابل، زبان روزمره انسان در فضای وب آکنده از غلط های املایی، اصطلاحات عامیانه و ساختارهای ناقص است. بنابراین، هرگاه سندی بدون این آشفتگی های متداول و با نظمی هندسی تدوین گردد، الگوریتم ها با خطای محاسباتی آن را محصول ماشین قلمداد می نمایند.
منبع
منبع: یک پزشک