تحلیل دقت چتبات ChatGPT در حل مسائل برنامهنویسی نتایج تحقیق دانشگاه پردو, تیمی از محققان علوم کامپیوتر در دانشگاه پردو با انجام یک مطالعه جامع، دقت پاسخهای مدل زبانی ChatGPT را در مواجهه با سوالات تخصصی برنامهنویسی ارزیابی کردهاند. نتایج این تحقیق که در کنفرانس بینالمللی تعامل انسان و کامپیوتر (CHI 2024) ارائه شده، نگرانیهای جدی در مورد قابلیت اعتماد این ابزارها برای توسعهدهندگان را برجسته میکند.
روششناسی تحقیق و منبع دادهها دانشمندان برای سنجش عملکرد مدل، مجموعاً ۵۱۷ سوال برنامهنویسی را از پلتفرم معروف استخراج کردند. این سوالها که به طور رایگان و به منظور اشتراکگذاری دانش بین برنامهنویسان در دسترس هستند، به عنوان ورودی به ChatGPT داده شده و کیفیت پاسخهای تولید شده به دقت مورد بررسی قرار گرفت. نرخ خطا و چالشهای اصلی بررسیهای انجام شده نشان داد که دقت پاسخهای چتبات در حدود ۵۲ درصد برآورد شده است.
به عبارت دیگر، نیمی از پاسخهای ارائه شده توسط هوش مصنوعی حاوی اشکالات، نادرستیهای فنی یا اطلاعات گمراهکننده بودهاند.
تأثیر بر فرآیند یادگیری و توسعه نرمافزار مطالعه کرد که تعداد قابل توجهی از دانشجویان علوم کامپیوتر از مدلهای زبانی بزرگ (LLM) نه تنها برای تولید کد در تکالیف، بلکه برای درک مفاهیم و پاسخ به سوالات نظری استفاده میکنند. وابستگی بیش از حد به ابزاری که در نیمی از موارد پاسخ نادرست میدهد، میتواند منجر به یادگیری مفاهیم نادرست و ایجاد باگهای پنهان در پروژههای واقعی شود.
نتیجهگیری و توصیههای امنیتی با وجود پیشرفتهای چشمگیر در حوزه هوش مصنوعی مولد، نتایج این تحقیق ضرورت بررسی و اعتبارسنجی خروجیهای این مدلها توسط متخصصان انسانی را دوچندان میکند. برنامهنویسان توصیه میشود از ChatGPT به عنوان یک ابزار کمکی برای ایدهپردازی یا نوشتن اسکلت اولیه کد استفاده کنند، اما هرگز کدهای تولید شده را بدون تست، بررسی امنیتی و درک کامل منطق آنها در محیط تولید مستقر نکنند.
