مدل‌های زبانی بزرگ و آموزش

فرصت‌ها و چالش‌های مدل زبانی بزرگ در آموزش

استفاده از مدل‌های زبانی بزرگ نباید جایگزین برنامه‌های آموزشی فعلی شود بلکه باید به عنوان مکملی برای آن در نظر گرفته شود که تجربه یادگیری را تقویت کرده و آن را عمیق‌تر می‌کند.     

دپارتمان کودک و نوجوان 

چکیده

مدل‌های زبانی بزرگ پیشرفتی قابل ملاحظه در حوزه هوش مصنوعی محسوب می‌شوند. فناوری زیربنایی آنها کلید نوآوری‌های آینده است و علی رغم دیدگاه‌های انتقادی و حتی ممنوعیت آن در مناطق مختلف، مدل‌های زبانی بزرگ و کاربرد آنها در آموزش امری مهم و غیرقابل انکار است. در این مقاله وضعیت مدل‌های زبانی بزرگ و کاربردهای آن را بررسی می‌کنیم و می‌بینیم چگونه می‌توان از این مدل برای تولید محتواهای آموزشی، بهبود تعامل بین دانش‌آموزان و شخصی‌سازی تجربه یادگیری آنها بهره برد.

مدل‌های زبانی بزرگ معلمان و فراگیران را ملزم می‌کنند که شایستگی‌های مورد نیاز برای درک فناوری و البته محدودیت‌ها و نقص‌های غیرمنتظره آنها را بشناسند. همچنین استفاده کامل از این مدل‌ها در محیط آموزشی نیازمند استراتژی روشن در سیستم آموزشی و رویکردی متمرکز بر تفکر انتقادی دارد. چالش‌های دیگری نیز در این مسیر وجود دارند که منحصر به کاربرد هوش مصنوعی در آموزش نیستند، اما اگر با این چالش‌ها به‌درستی مواجه شویم، می‌توانیم کاری کنیم که این مدل‌ها در امر آموزش به‌نحوی مسئولانه و اخلاقی به کار گرفته شوند و به دانش‌آموزان و مربیان کمک کنند.

دپارتمان کودک و نوجوان

مدل‌های زبانی بزرگ فعلی چگونه هستند؟

GPT یا «ترانسفورمر تولیدکننده از پیش آموزش‌دیده» (Generative Pre-trained Transformer) توسط شرکت OpenAI تولید شده است و نخستین مدل زبانی بزرگ است که در سال ۲۰۱۸ به‌صورت عمومی منتشر شد. GPT می‌توانست شبیه انسان متن تولید کند، به پرسش‌ها پاسخ دهد و کارهایی مانند ترجمه و خلاصه‌نویسی را شبیه انسان انجام دهد. OpenAI بعداً براساس این مدل اولیه مدل‌های دیگری به نام‌های GPT-2 و GPT-3 را عرضه کرد که قابلیت‌های پیشرفته‌تری داشتند. این مدل‌ها نقطه عطف مهمی در کارهای صنعتی و تحقیقاتی مختلف محسوب می‌شوند.

گوگل نیز در سال ۲۰۱۸ مدل زبانی BERT را معرفی کرد (نمایش رمزنگار دوطرفه از ترانسفورمر یا Bidirectional Encoder Representations from Transformers) که این مدل نیز بر معماری ترانسفورمر مبتنی است و بر اساس مجموعه عظیمی از داده‌های متنی و بدون نظارت آموزش دیده است. این مدل می‌تواند قسمت‌های حذف‌شده از جمله و جمله بعدی را پیش‌بینی کند و در گسترده وسیعی از موضوعات واژه‌های فراوانی را آموخته است.

یک سال بعد در سال ۲۰۱۹ بخش هوش مصنوعی گوگل XLNet را معرفی کرد که برای آموزش آن از فرایند مدل‌سازی زبان جایگشتی استفاده شده بود و به همین دلیل XLNet قادر بود وظایفی شامل درک ارتباط بین کلمات در یک جمله، استنتاج زبان طبیعی و پاسخ به پرسش‌ها را انجام دهد.

مدل دیگری که مؤسسه تحقیقاتی گوگل معرفی کرد مدل T5 بود که در سال ۲۰۲۰ عرضه شد و مدلی مبتنی بر ترانسفورمر بود که با مجموعه عظیمی از داده‌های متنی آموزش دیده بود و ویژگی آن توانایی انجام مجموعه عظیمی از وظایف مربوط به زبان به‌صورت دقیق بود.

فیسبوک هم به موازات گوگل و شرکت OpenAI در سال ۲۰۲۱ یک مدل زبانی به نام RoBERT معرفی کرد که نوعی از مدل BERT است اما بهتر از آن و حتی بهتر از GPT-2 و XLNet  عمل می‌کند.

در حال حاضر پرکاربردترین و بزرگ‌ترین مدل زبان بزرگ موجود GPT-3 است که آن نیز با مجموعه عظیمی از داده‌های متنی (از جمله کتاب، مقاله، وب‌سایر و منابع دیگر) آموزش دیده است و ۱۷۵ میلیارد پارامتر دارد. معماری ترانسفورمر به این مدل امکان می‌دهد که داده‌های متوالی را پردازش کرده و متون منسجم‌تر و ساختارمندتر تولید کند. متونی که این مدل تولید می‌کند تقریباً از متون تولید‌شده توسط انسان قایل تشخیص نیستند.

کاربرد مدل‌های زبانی بزرگ

مدل‌های زبانی بزرگ (Large language models یا LLM) مانند GPT-3 پیشرفتی بزرگ در حوزه پردازش زبان طبیعی در سال‌های اخیر به وجود آورده‌اند. این مدل‌ها به وسیله حجم عظیم داده‌های متنی آموزش دیده‌اند و می‌توانند متونی به زبان انسان تولید کنند، به پرسش‌ها پاسخ دهند و سایر کارهای مربوط به زبان را با دقت بالا انجام دهند.

 یکی از پیشرفت‌های مهم در این حوزه استفاده از معماری‌های ترانسفورمر و مکانیسم توجه زیربنایی (underlying attention mechanism) است که توانسته است توانایی خودنظارتی را در متونی که به زبان طبیعی تولید می‌شوند بهبود ببخشد. معماری ترانسفورمر یا transformer architecture از مکانیسم توجه به خود استفاده می‌کند تا بتواند بین بخش‌های ورودی مختلف ارتباط برقرار کرده و براساس آنها پیش‌بینی انجام دهد. این امکان مدل زبانی را قادر می‌کند روابط بین کلمات را بدون توجه به موقعیت آن کلمات در جمله بهتر درک کند.

پیشرفت مهم دیگر استفاده از پیش‌آموزش برای تربیت این مدل است که در این شیوه ابتدا مدل را به کمک مجموعه بزرگی از داده‌ها آموزش می‌دهند و سپس از آن برای کارهای خاص استفاده می‌کنند. این تکنیک برای بهبود عملکرد در طیف وسیعی از وظایف مرتبط با زبان مؤثر بوده است. برای نمونه BERT یک مدل رمزنگار مبتنی بر معماری ترانسفورمر و از پیش آموزش‌دیده است که می‌تواند وظایف مختلفی مانند طبقه‌بندی جملات، پاسخ به پرسش‌ها و شناسایی شی نام‌گذاری‌شده را انجام دهد.

 پیشرفت‌های اخیر حوزه مدل زبانی بزرگ شامل GPT-3 و Chat-GPT هستند که به وسیله مجموعه بزرگی از داده‌ها آموزش دیده‌اند و متون را از یک شبکه بسیار بزرگ می‌گیرند و عملکرد پیشرفته‌ای در انجام انواع مختلف وظایف مربوط به زبان از خود نشان داده‌اند، از ترجمه گرفته تا پاسخ به پرسش‌ها، نوشتن متن و نوشتن برنامه‌های رایانه‌ای.

به علاوه، تحقیقات گسترده‌ای درباره آموزش این مدل‌ها در مجموعه داده‌های کوچک‌تر و حل مشکلات جدیدتر صورت گرفته است. این کار باعث بهبود عملکرد این مدل‌ها در کارهای خاص و داده‌های کمتر شده است. مدل‌های زبانی بزرگ علی رغم پیشرفتی که در سال‌های اخیر داشته‌اند، محدودیت‌های زیادی نیز دارند که باید آنها را برطرف کرد. یکی از اصلی‌ترین محدودیت‌ها ناتوانی آنها در تفسیر است، زیرا درک سیستم استدلالی و منطقی این مدل‌ها که برای پیش‌بینی از آن استفاده می‌کنند دشوار است.

 در مورد این مدل‌ها نگرانی‌هایی در مورد مسائل اخلاقی و تأثیرات نادرست آنها وجود دارد. برای نمونه برخی از این نگرانی‌ها عبارت‌اند از حوزه اشتغال، خطر سوء استفاده، استفاده نادرست و غیراخلاقی از آنها، خطر نقض حریم ایمنی و صحت و اطمینان متن تولید‌شده. در کل مدل‌های زبانی بزرگ پیشرو تحولات در پردازش زبان طبیعی هستند اما هنوز در مورد محدودیت‌ها و ملاحظات اخلاقی درباره آنها مسائل حل‌نشده بسیاری باقی‌ مانده‌ است.

فرصت‌های آموزشی مدل زبانی بزرگ

استفاده از مدل‌های زبانی بزرگ در آموزش طیف وسیعی از کاربردهای متنوع را شامل می‌شود و یک حوزه بالقوه کمک‌آموزشی محسوب می‌شود. به کمک این مدل‌ها می‌توان تجربه‌های آموزش و یادگیری را برای همه افراد در همه سطوح تحصیلی توسعه داد.

مدل‌های زبانی بزرگ می‌توانند مهارت‌های خواندن و نوشتن را برای دانش‌آموزان دبستانی توسعه دهند و در تقویت سبک نوشتاری و مهارت‌های تفکر انتقادی در آنها مفید هستند. از این مدل‌ها می‌توان برای تولید پرسش و انگیزه بخشیدن به دانش‌آموزان کمک گرفت که آنها را تشویق می‌کند اطلاعات درسی را مورد تجزیه و تحلیل و انتقاد قرار دهند. به علاوه، مدل زبانی بزرگ می‌تواند در تهیه خلاصه مطالب و توضیح متون پیچیده به دانش‌آموزان کمک کند و مهارت درک مطلب آنها را بالا ببرد.    

دانش‌آموزان مقطع متوسطه و دبیرستان نیز می‌توانند از مدل زبانی بزرگ برای یادگیری زبان‌های جدید و تقویت سبک نوشتاری خود در مورد موضوعات مختلف، مانند ریاضی، فیزیک و ادبیات کمک بگیرند. مدل‌های زبانی بزرگ در تهیه تمرین و آزمون به معلمان کمک می‌کنند. همچنین باعث می‌شوند دانش‌آموزان مطالبی را که فرا گرفته‌اند بهتر درک کنند و برای مدت طولانی به ذهن بسپارند.

 همچنین مدل‌های زبانی بزرگ در ارائه توضیحات، راه حل‌های گام به گام و پرسش‌های مرتبط با موضوع درس مفید هستند و به از این طریق مهارت حل مسئله را در دانش‌آموزان تقویت می‌کنند و تفکر تحلیلی و خارج از چارچوب‌های مرسوم را به آنها می‌آموزند.

 مدل‌های زبانی بزرگ برای دانشجویان دانشگاه نیز مفید هستند و به آنها در کارهای تحقیقاتی، نوشتن، نقد کردن و حل مسئله کمک می‌کنند. این مدل‌ها را می‌توان برای تهیه خلاصه مطالب و نوشتن طرح کلی متن مورد استفاده قرار داد و به این ترتیب دانشجویان می‌توانند نکات اصلی یک متن را سریع‌تر درک کنند و ذهن خود را برای نوشتن سامان دهند.

همچنین مدل‌های زبانی بزرگ برای یادگیری گروهی و از راه دور نیز مفید هستند و بحث‌های گروهی را ساختارمند می‌کنند و امکان بازخورد لحظه‌ای از سوی مربی و راهنمایی‌های شخصی به فراگیران در طول بحث را فراهم می‌آورند. این امر به افزایش مشارکت فراگیران کمک می‌کند. در انجام تکالیف مشترک نیز این مدل‌های زبانی مفید هستند و می‌توانند سبک نگارش چند فراگیر را با هم هماهنگ کرده و متون آنها را ویرایش کنند.

 در کارهای پژوهشی از این مدل‌های زبانی بزرگ برای مطرح کردن پرسش‌های مرتبط و مفید و بررسی تحقیقات انجام‌شده استفاده می‌شود. در تدریس خصوصی و از راه دور نیز می‌توان طرح پرسش امتحانی و ارائه تمرین و همچنین پاسخ به پرسش‌های فراگیران را به این مدل‌ها سپرد که این امر سرعت یادگیری را بالا می‌برد و مطالب آموزشی را بر اساس سطح هر فراگیر به‌طور جداگانه و شخصی تنظیم می‌کند.

خطرات اصلی کاربرد مدل زبانی بزرگ در آموزش

یکی از مهم‌ترین خطرات کاربرد مدل زبانی بزرگ در آموزش، مسئله حق مؤلف است. وقتی از مدل زبانی بزرگ برای تولید محتوای مرتبط آموزشی استفاده می‌کنیم، باید این مدل دقیقاً برای این کار آموزش دیده باشد تا اهداف آموزشی را نقض نکند و مشکل سرقت ادبی، حقوق مؤلف پیش نیاید. اقدامات مهم برای کاهش این مشکل موارد زیر هستند:

• درخواست از نویسندگان متون اصلی و اجازه گرفتن از آنها برای استفاده از محتوای آنها در آموزش مدل
• رعایت شرایط حق مؤلف و کپی رایت برای محتواهای منبع‌باز
• رعایت شرایط دقیق استفاده از محتواهای تولید‌شده توسط مدل
• اطلاع‌رسانی و افزایش آگاهی کاربران در مورد این شرایط و سیاست‌ها

خطر دیگری که در استفاده از مدل‌های زبانی بزرگ در آموزش وجود دارد، عدم رعایت انصاف و جهت‌گیری‌های ناعادلانه است. این مدل‌ها می‌توانند باعث تقویت بی‌عدالتی و جهت‌گیری‌های ناعادلانه شوند و این امر بر فرایند و نتایج آموزش تأثیر منفی دارد.

مثلاً اگر مدلی نسبت به گروه خاصی جهت‌گیری داشته باشد، ممکن است نتایجی ایجاد کند که نسبت به آن گروه خاص تبعیض‌آمیز باشند. به همین دلیل لازم است داده‌های آموزشی مورد استفاده برای آموزش این مدل‌ها متنوع و نماینده گروه‌های مختلف مردم باشند. نظارت بر عملکرد این مدل‌ها می‌تواند باعث رفع این تبعیض‌ها شود. به همین دلیل است که همچنان نظارت انسانی بر استفاده از این مدل‌ها در امر آموزش ضروری و حیاتی است.

برای عادلانه‌تر کردن آنها می‌توان بر جنبه‌های کلیدی زیر تمرکز کرد:

• ارائه مجموعه متنوع داده‌ها که در آنها نسبت به گروه خاصی تعصب وجود نداشته باشد.
• نظارت و ارزیابی عملکرد مدل‌ها برای جلوگیری از جهت‌گیری‌های نابه‌جا
• قرار دادن معیارهای منصفانه در روش‌های پیش‌پردازش و پس‌پردازش
• به کارگیری مکانیسم‌های شفاف که به کاربران کمک کند شیوه استخراج اطلاعات را در این مدل‌ها درک کنند.
• آموزش مربیان در مورد چگونگی تشخیص محتواهای جهت‌دار
• به‌روزرسانی مستمر مدل‌های زبانی بزرگ با داده‌های متنوع و بی‌طرف و نظارت انسانی بر نتایج

خطر دیگری که وجود دارد این است که فراگیران بیش از حد به این مدل‌ها متکی شوند. اطلاعاتی که به وسیله این مدل‌ها بدون زحمت به دست می‌آیند ممکن است بر تفکر انتقادی و مهارت حل مسئله فراگیران و دانش‌آموزان تأثیر نامطلوب بگذارد. به همین دلیل است که می‌گویند کسب اطلاعات از این مدل‌ها ذهن را تنبل می‌کند علاقه فراگیر را به تحقیق و رسیدن به نتیجه یا راه حل کاهش می‌دهد.

برای رفع این خطر باید از محدودیت‌های مدل‌های زبانی بزرگ آگاه شویم و بدانیم که استفاده از آنها تنها برای کمک به یادگیری و تقویت آن مفید است و آنها جایگزین منابع معتبر نیستند. استراتژی‌های مسئولانه برای مواجهه با این خطر عبارت‌اند از:

• افزایش آگاهی در مورد محدودیت‌های مدل‌های زبانی بزرگ و به‌طور کلی هوش مصنوعی
• استفاده از مدل‌های زبانی بزرگ برای تولید فرضیه و بررسی دیدگاه‌های مختلف، نه دریافت پاسخ
• استفاده از سایر منابع آموزشی مانند کتاب و مقاله در کنار مدل‌ها برای ارزیابی و تأیید صحت اطلاعات آنها
• گنجاندن فعالیت‌های فکری و انتقادی در برنامه درسی فراگیران
• استفاده از تخصص معلمان و مربیان برای ارزیابی اطلاعات تولیدشده توسط مدل زبانی

توجه به این نکته ضروری است که استفاده از مدل‌های زبانی بزرگ نباید جایگزین برنامه‌های آموزشی فعلی شود بلکه باید به عنوان مکملی برای آن در نظر گرفته شود که تجربه یادگیری را تقویت کرده و آن را عمیق‌تر می‌کند. 

جمع‌بندی

در حال حاضر پرکاربردترین و بزرگ‌ترین مدل زبان بزرگ موجود GPT-3 است که آن نیز با مجموعه عظیمی از داده‌های متنی (از جمله کتاب، مقاله، وب‌سایر و منابع دیگر) آموزش دیده است و ۱۷۵ میلیارد پارامتر دارد. معماری ترانسفورمر به این مدل امکان می‌دهد که داده‌های متوالی را پردازش کرده و متون منسجم‌تر و ساختارمندتر تولید کند. متونی که این مدل تولید می‌کند تقریباً از متون تولید‌شده توسط انسان قایل تشخیص نیستند.

 استفاده از مدل‌های زبانی بزرگ در آموزش طیف وسیعی از کاربردهای متنوع را شامل می‌شود و یک حوزه بالقوه کمک‌آموزشی محسوب می‌شود. به کمک این مدل‌ها می‌توان تجربه‌های آموزش و یادگیری را برای همه افراد در همه سطوح تحصیلی توسعه داد. مدل‌های زبانی بزرگ علی رغم پیشرفتی که در سال‌های اخیر داشته‌اند، محدودیت‌های زیادی نیز دارند که باید آنها را برطرف کرد. یکی از اصلی‌ترین محدودیت‌ها ناتوانی آنها در تفسیر است، زیرا درک سیستم استدلالی و منطقی این مدل‌ها که برای پیش‌بینی از آن استفاده می‌کنند دشوار است.

در مورد این مدل‌ها نگرانی‌هایی در مورد مسائل اخلاقی و تأثیرات نادرست آنها وجود دارد. برخی از این نگرانی‌ها عبارت‌اند از حوزه اشتغال، خطر سوء استفاده، استفاده نادرست و غیراخلاقی از آنها، خطر نقض حریم ایمنی و صحت و اطمینان متن تولید‌شده. در کل مدل‌های زبانی بزرگ پیشرو تحولات در پردازش زبان طبیعی هستند اما هنوز در مورد محدودیت‌ها و ملاحظات اخلاقی درباره آنها مسائل حل‌نشده بسیاری باقی‌ مانده‌ است.

نویسندگان: Enkelejda Kasneci، Kathrin Seßler و دیگران

منبع: Researchgate

مترجم: بهناز دهکردی

در دنیای کسب‌وکار امروز، تحصیلات دانشگاهی برای حفظ ارزش شما به‌عنوان نیروی کار با استعداد و کارآمد کافی نیستند. برای‌ اینکه مزیت رقابتی شخصی خود را حفظ کنید، باید بر آموزش مستمر و مادام‌العمر خود سرمایه‌گذاری کنید. خانواده بزرگ مجتمع فنی تهران هرساله به هزاران نفر کمک می‌کند تا در مسیر شغلی خود پیشرفت کنند.

اگر شاغل هستید و وقت ندارید در دوره‌های آموزشی حضوری شرکت کنید، مجتمع فنی تهران گزینه‌هایی عالی برای آموزش مجازی، آنلاین، آفلاین و ترکیبی ارائه می‌دهد. با شرکت در دوره‌های کوتاه‌مدت مجتمع فنی تهران و دریافت مدارک معتبر و بین‌المللی می‌توانید با اعتماد به نفس مسیر ترقی را طی کنید و در سازمان خود به مهره‌ای ارزشمند تبدیل شوید.