از Pista Academy حمایت کنید
خلاصه آموزشی
مرور سریع مفاهیم اصلی پیش از تماشای کامل یا برای جمعبندی بعد از آموزش.
این جلسه اول دوره آموزشی فاین تیونینگ مدلهای LLM با استفاده از اکوسیستم هاگینگ فیس به معرفی مفاهیم پایه مدلهای ترنسفورمر، فرآیند آمادهسازی داده، و تکنیکهایی مانند لورا و کیولورا میپردازد. در این جلسه، مدرس به بررسی پروژههای عملی مانند تحلیل احساسات، تشخیص اخبار جعلی، تشخیص موجودیتها، خلاصهسازی متن، و پردازش تصاویر میپردازد. همچنین، مدلهای صوتی و مسائل مرتبط با آن نیز در این جلسه مطرح میشوند.
نکات کلیدی
هدف دوره آموزشی فاین تیونینگ مدلهای LLM با استفاده از اکوسیستم هاگینگ فیس است.
در این جلسه، مفاهیم پایه مدلهای ترنسفورمر و فرآیند آمادهسازی داده مورد بررسی قرار میگیرد.
تکنیکهایی مانند لورا و کیولورا به عنوان روشهایی برای فاین تیونینگ مدلهای LLM معرفی میشوند.
پروژههای عملی مانند تحلیل احساسات و تشخیص اخبار جعلی در این جلسه مورد بررسی قرار میگیرند.
پرسشهای رایج
پاسخ کوتاه و مستقیم به پرسشهایی که معمولاً هنگام یادگیری این موضوع مطرح میشوند.
هدف این دوره آموزشی فاین تیونینگ مدلهای LLM با استفاده از اکوسیستم هاگینگ فیس است.
در این جلسه، مفاهیم پایه مدلهای ترنسفورمر، فرآیند آمادهسازی داده، و تکنیکهایی مانند لورا و کیولورا مورد بررسی قرار میگیرد.
پروژههای عملی مانند تحلیل احساسات، تشخیص اخبار جعلی، تشخیص موجودیتها، خلاصهسازی متن، و پردازش تصاویر در این جلسه مورد بررسی قرار میگیرند.
آخرین بهروزرسانی محتوای متنی:
در این دوره آموزشی، بهصورت عملی و پروژهمحور یاد میگیریم چگونه مدلهای زبانی بزرگ (Large Language Models) را برای کاربردهای خاص خودمان Fine-Tune کنیم. امروزه مدلهایی مانند LLaMA، Mistral، BERT، T5 و مدلهای مبتنی بر Transformer تواناییهای بسیار قدرتمندی دارند؛ اما برای رسیدن به بهترین عملکرد در یک حوزه تخصصی، معمولاً نیاز داریم آنها را با دادههای اختصاصی خودمان تنظیم کنیم. در این دوره از پایه با مفاهیم Fine-Tuning شروع میکنیم و سپس به تکنیکهای پیشرفته و بهینه مانند LoRA، QLoRA و PEFT میپردازیم تا بتوانیم مدلهای بزرگ را حتی با منابع سختافزاری محدود آموزش دهیم. در طول دوره با استفاده از اکوسیستم Hugging Face، کتابخانههای Transformers، Datasets، PEFT، Accelerate و TRL مدلهای مختلف را Fine-Tune کرده و پروژههای واقعی را پیادهسازی میکنیم. در این دوره چه چیزهایی یاد میگیریم؟ 🔹 آشنایی عمیق با معماری Transformer و مفاهیم پایه LLMها 🔹 کار با Hugging Face Transformers و مدلهای Pre-trained 🔹 آمادهسازی Dataset برای Fine-Tuning مدلهای زبانی 🔹 تفاوت روشهای مختلف Fine-Tuning و انتخاب روش مناسب 🔹 آموزش و Fine-Tuning مدلهای BERT برای Classification 🔹 استفاده از Knowledge Distillation برای ساخت مدلهای کوچکتر و سریعتر 🔹 Fine-Tuning مدلهای DistilBERT و TinyBERT 🔹 Fine-Tuning مدلهای T5 برای Text Summarization 🔹 Fine-Tuning Vision Transformer برای Image Classification 🔹 مفهوم Instruction Tuning و Chat Models 🔹 Fine-Tuning مدلهای LLaMA برای ساخت مدلهای مکالمهای 🔹 Fine-Tuning مدلهای Qwen برای کاربردهای مختلف 🔹 آشنایی کامل با LoRA (Low-Rank Adaptation) 🔹 Fine-Tuning بهینه با QLoRA و Quantization 🔹 استفاده از PEFT برای کاهش هزینه آموزش مدلهای بزرگ 🔹 Fine-Tuning مدلهای LLM روی Datasetهای شخصی 🔹 ساخت مدلهای Voice و Audio با استفاده از LLMها و Qwen-TTS 🔹 Fine-Tuning مدلهای صوتی با دادههای اختصاصی پروژههایی که در این دوره انجام میدهیم: ✅ ساخت مدل Classification اختصاصی با BERT ✅ تشخیص موجودیتهای نامدار (NER) با مدلهای Transformer ✅ ساخت سیستم خلاصهسازی متن با T5 ✅ Fine-Tuning مدلهای LLM برای Chat و Instruction Following ✅ تنظیم مدلهای LLaMA و Qwen روی دادههای سفارشی ✅ استفاده از LoRA و QLoRA برای آموزش مدلهای بزرگ با GPU محدود ✅ Fine-Tuning مدلهای صوتی برای کاربردهای Voice AI این دوره مناسب چه کسانی است؟ این دوره برای افرادی مناسب است که: ✔ با Python آشنایی دارند و میخواهند وارد حوزه LLM Engineering شوند ✔ میخواهند مدلهای زبانی موجود را برای پروژههای واقعی شخصیسازی کنند ✔ قصد دارند در حوزه Generative AI، NLP و مدلهای مولد فعالیت کنند ✔ میخواهند به جای استفاده صرف از APIها، مدلهای AI اختصاصی خودشان را بسازند ✔ علاقهمند به تحقیق و توسعه در حوزه مدلهای زبانی بزرگ هستند پیشنیازهای دوره: آشنایی متوسط با Python آشنایی اولیه با Machine Learning و Deep Learning آشنایی مقدماتی با PyTorch آشنایی کلی با مفاهیم Neural Networks در پایان این دوره شما قادر خواهید بود مدلهای زبانی بزرگ را با استفاده از جدیدترین تکنیکهای روز مانند LoRA، QLoRA و PEFT روی دادههای اختصاصی خودتان Fine-Tune کنید و مدلهای آماده Hugging Face را برای ساخت اپلیکیشنهای واقعی هوش مصنوعی بهینهسازی کنید. 🚀 برای یادگیری عملی LLM Engineering و ساخت مدلهای AI اختصاصی، این دوره را از دست ندهید. #LLM #FineTuning #HuggingFace #LoRA #QLoRA #PEFT #GenerativeAI #AI #MachineLearning #DeepLearning #Transformers #LLaMA #Qwen #NLP
این روزه اسمشو زیاد میشنویم.
تو سال اخیر مدل زبانی بزرگ همون ال ام ها
مثل خانوادههای کوین و فیما
و بسیار مدلههای دیگه تحول بسیار بزرگی
توصشون هست تو ایجاد کردن.
اما یه سؤال مهم وجود داره آیا همیشه باید
از این مدلها به همان شکلی که از قبل
آموزش داده شده استفاده بکنیم؟ پاسخ قطعاً
خیر.
در بسیاری از پروژههای واقعی ما میخوایم
یه مدلش مصنوعی رو برای داده کسب و کار یا
مسئله خاص خودمون شخصیسازی بکنیم.
برای ممکن است بخوایم مدل داشته باشیم که
نظرات کاربرا رو تحلیل کنه اخبار جلیو
تشخیص بده موجودیتهای مختلفی رو از داخل
من استخراج کنه مدلهای طول متنی طولانی
رو خلاصه کنه تصاویررو دستهبندی کنه یک
دستیار گفتوگو اختصاصی بسازیم که چیزی که
الان تو ایران خیلی استفاده میشه یا حتی
یک مدل صوتی رو با دادههای خودمون آموزش
بدیم
اینجاست که مفهوم فایند تیونینگ اهمیت
بسیار زیادی پیدا میکنه خب
تو این دوره بچهها قرار نیست که فاین
تیونینگو به صورت تئوری فقط یاد بگیریم
هدف اصلی ما اینه که قدم به قدم یاد
بگیریم چگونه مدی مختلفو با استفاده از
اکوسیستم هاگینگ فیس که حالا جلوتر و مفصل
راجع بهش صحبت خواهیم کرد برای دادههای
خودمون آماده کنیم مدل آموزش بدیم
عملکردشو ارزیابی کنیم و درت یک مدل تخصصی
برای مسئلههای خودمون بسازیم
در طول این دوره با کتابخونههای مختلفی
مانند و ابزارهای مختلف عنوان ترنسفورمرها
دیتا ستها توکنایزرها پایتورز
پیفت و تکنیکهای مانند لورا و کیولورا
کار خواهیم کرد
این تکنیکها به ما اجازه میده مدلای بزرگ
رو بدون نیاز به آموزش مجدد تمام
پارامترهای آن فاینتی تیون کنیم در نتیجه
هزینه پردازشی و میزان حافظه مورد نیاز به
شدت کاهش پیدا میکنه و فاینتونینگ مدلای
بزرگ حتی با سخت افزار محدود هم امکان
پذیره سیستم خودمونم میتونیم کار بکنیم.
ابتدا دور کار با کتابخونههای ترنسفورمر
و اکوسیستم هاگینگ فیسو شروع میکنیم. سپس
معماری ترنسفورمر و مفاهیم پایه مدبانی رو
بررسی میکنیم تا قبل از فاین تونینگ
دقیقاً بدونیم که داخل این مدلها چه
اتفاقی داره میفته. بعد سراغ یکی از مدل
مهمترین مدلهای خانواده ترنسفورمهمر
یعنی برت میریم معماریشو بررسی میکنیم
و و سریعاً وارد پروژه میشیم. بچهها تو
کل این دوره قراره پروژه زیاد انجام بدیم.
یکی از اولین پروژههای دوره فاین تیونینگمون برای مدل برد برای تحلیل
احساسات چند کلاس است.
تو این پروژه قراره با استفاده از
دادههای مربوط به توییتها مدلی بسایم که
بتواند احساس موجود در یک متنو تشخیص بده.
در این بخش تمام مراحل یک پروژه واقعی رو
بررسی خواهیم کرد از آماده سازی دیتا ست
توکن توکنیزیشن
و ولیدیشن ترینگ و ارزیابی مدل همه رو با
همدیگه انجام میدیم بچهها
ادامه دوره با مفهوم نالج دیستیلیشن آشنا
میشیم بررسی میکنیم که چگونه میتوان یک
مدل بزرگ رو به مدل کوچکتر و سریعتر تب
تبدیل کرد
سپس با مدل دیستیلبرت وارد پروژه عملی
بیشتری میشیم. یکی از این پروژهها تشخیص
اخبار جعلیه.
در این پروژه یک دیستیل برتو فایند تیو
میکنیم تا بهتون تشخیص بده آیا یه خبر
واقعیه یا نه.
پروژه بعدی که خواهیم داشت مربوط میشه به
یکی دیگه از مسائل بسیار مهم توی پردازش
زبان طبیعی یعنی چی؟ ان ایآر یا نیم
انتیتی رکوگنیشن در این قسمت مدلی رو فاین
تو میخواهیم کرد که بتونه از داخل متن
موجودیتهایی مانند نام افراد، سازمانها،
مکانها و سایر اطلاعاتو شناسایی بکنه.
بنابراین در این دوره فقط با یک تکست
کلاسیفیکیشن کار نخواهیم کرد و انواع
مختلفی از مسائل ان ال پی رو تجربه خواهیم
کرد.
تو فصل بعدی دورم میریم سراغ تی فا مدل
ماشین نیستا در این قسمت یاد میگیریم
چگونه مدل تی فا رو با دیتاست اختصاصی
خودمون برای فاین تیون برای بحث سامرا
کردن متن فاینتون کنیم یعنی مدلی میسازیم
که بتونه یه متن نسبت طولانیو دریافت بکنه
و خلاصهشو بهمون بده
در این مرحله وارد دنیای مدلهای سکونس تو
سکونس و مسائل تولید متن خواهیم شد
اما ترنسفورمر فقط برای متن استفاده نمیشه بچهها ادامه دوره میریم سراغ ویژن
ترنسفورمرها یا ویآیتی
در این پروژه یه مدل ویژن ترنسفورمر رو با
فایل تیوم میکنیم تا بتونه تصاویر مختلفو
دستهبندی کنه
و یاد میبینیم که چهجوری از متن سراغ
تصویر خواهیم رفت.
بعد از این پروژه وارد یکی از مهمترین بخشهای دوره یعنی بحث فاین تیونینگ مدلای
زبانی بزرگ یا ال امها ها میشیم. ابتدا
مفاهیم مربوط به فاین تیونینگ یه ال ام رو
روی یک دیتاست اختصاصی بررسی میکنیم.
بعد یه چالش میگه میخوریم. مدل زبان بزرگ
ممکن است میلیاردها پارامتر داشته باشن.
راجع به پارامتر بچهها توی دوره دیتا دیپ
لرنینگ ببخشید صحبت کردیم که منظور از
پارامتر چیه و فاینک تونینگ کامل آنها به
مقدار زیادی جی پی یو مموری و منابع
پردازشی نیاز داره برای حل این مشکل با
مفهوم پارامتر ایفیشینت فاین تیونینگ یا پ
پی ای اف تی آشنا خواهیم شد
یا پفت میخوایم به سریع بگیم یکی از
مهمترین تکنیکهای پفت لوراه یا کیو لورا
لورا در لورا به جای اینکه میلیاردها
پارامتر مدل اصلی رو تغییر بدیم تعداد
بسیار کوچکی پارامتر قابل آموزش به مدل
اضافه میکنیم این روش باعث میشود هزینه
فاین تونینگ به شکل قابل توجهی کاهش پیدا
کنه در ادامشم با کیورا قرار داشته آشنا
باشیم روشی که ترکیب کوانتیزیشن و لوراست
و به ما اجازه میده مدلهای بسیار بزرگ رو
با حافظه جیپیو بسیار کمتری فایتینتین
کنیم
که الان بچهها خیلی از تکنیکهای خیلی
خیلی مهم توی مدل اپن سورس حساب میشه
بعدشم میریم سراغ یه چند تا پروژه واقعی
به عنوان مثال مدل فی د رو دادههای
اختصاصی فاین تیون میکنیم یاد میگیریم
دیتاست مناسب برای فاینتی تیون یک ال ام
رو چهجوری آماده کنیم و سپس مدلو با
دادههای خودمان آموزش بدیم بچهها یکی از
اون مباحثی که من خودم توی حوزه کاری خودم
هر روز باهاش درگیرم هر روز
در پروژه بعدی به سراغ خانواده مدلهای
لاما میریم ال لاما
یه مدل بیس از خانواده ال لاما رو فایل
تیون میکنیم تا آن رو تبدیل کنه به یک چت
اینستراکشن مدل به زبان ساده میخوایم
مشاهده کنیم چگونه میتوان یه مدل پایی رو
با استفاده از دادههای اینستراکشن به
مدلی تبدیل کنیم که بتونه دستورای کاربر
بهتر درک کنه و پاسخ مناسب تولید کنه
این یکی از بخشهای مهم دوره زیر بسیاری
چتباتها و دسته اختصاصی دقیقاً با چنین
رویکردی ساخته میشن الان
و در بخش پایانی وارد حوزه آودیو ال میشیم
با مدلهای صوتی خانواده کوین کوین تی تی
اس کار میکنیم کوین خیلی استفاده میشه تو
ایران بچهها و مفهوم ویس کلونینگ رو
بررسی میکنیم صفت یه مرحله جلوتر میریم
یاد میگیریم چگونه یک مدل کوین تییتی اس
رو با استفاده از دادهای صوتی اختصاصی
خودمون فایندین کنیم اینم باز از اوناست
که من همین الان دست به نفز دارم بهش برای
کار جایی که دارم کار میکنم واقعاً بهش
نیاز داریم. یعنی خودم بعد از انتهای دوره
اینو که یه مقدار مسلطتر بشم یه ذره
تمرین بکنیم با همدیگه
چون این جاییه که من خودم خیلی وارد نیستم
میرم سراغ اینکه پروژه خودمو انجام بدم
در نهایت بچهها آخرین دوره ما هم با
آودیو کار کردیم هم با متن هم با ایمیج
همین بچهها مثلاً کافیه برای این دوره خیلی خب بریم بیایم جلسه بعدی شروع کنیم
فعلاً خداحافظ