چگونه یک ChatGPT کوچک بسازیم؟ 🚀 ساخت LLM از صفر با PyTorch و Fine-Tuning - جلسه 5

هم یه بار ال ام رو در حقیقت پیاده سازی

خواهیم کرد.

میخوایم وارد موضوع لاگین بشین در زمان

ترینینگ

تو آموزش یه ال ام فقط اجرای مدل مهم نیست

باید بتونیم بفهمیم در طول هزاران استپ چه

اتفاقی داره میفته

آیا لاسمون داره کم میشه لینینگ ریتمون

داره چهجور تغییر می‌کنه ولیدیشن لاسمون

بهتر شده یا بدتر

آموزشمون چقدر داره طول می‌کشه آیا مدلمون

اورفیت شده و اگر

چند ترینینگ ران داشتیم کدوم تنظیمات بهتر

عمل کرده یعنی تو کدوم یکی از اون ففرآیند

آموزشمون مدل بهتر بوده

[گلویش را صاف می‌کند]

اینجا برای لاگینگ اومدیم از

دبلی ان دی بی استفاده کردیم اینجاهم

داریم کدش رو میبینیم بچه‌ها حالا

برمیگردیم راجع بهش صحبت میکنیم

میگه که اینجا هستیم یعنی ما ترینمونو کانفیگ کردیم قبل شروع کردن ففرآیند ترین

لاگینگو اینجا پیاده‌سازی می‌کنیم

خب اصلاً لاگینگ یعنی چی؟ فرض کنید مدلمون قراره

۱۰۰ هزار بار آموزش ببینه ۱۰۰ هزار استپ

آموزش ببینه

در طول آموزش ممکنه اطلاعات تولید بشه

استپ ۱۰۰ مثلاً لاسمون انقده ولیدشمون

لاسمون انقده و لینگ ریتمون انقده استپ

۵۰۰ به این صورت استپ مثلاً ۱۰۰ اینجوری

تا ۱۰۰ هزار

اگر فقط اینا رو با پرینت تو ترمینال

نمایش بدیم بعداً تحلیل کردنش سخته چون

پرینت شده دیگه نداریمش جایی ثبت نشده

لاگین یعنی این اطلاعاتو به شکل ساختار

یافته‌ای ثبت کنیم یه جایی که بعداً

بخواستیم تحلیلش بکنیم بتونیم ازش استفاده

بکنیم

دبلی ان بی چیست مخفف ویت اند بایاس یه ابزار بسیار معروف برای اکسپریمنت ترک

ترکینگ

یعنی ترک کردن یا دنبال کردن یا رصد کردن

آزمایش

یعنی آزمایش ماشین لرنینگ و دیپ لینینگ رو

ثبت و مدیریت می‌کنه پس تو ماشین لرنینگم

میشه ازش استفاده کرد

مثلاً در پروژه ال ان ممکن است ۵ بار مدل رو ترن کنیم

این اطلاعات ۵ بارست

بدون لاگینگ بعد از مدتی ممکنست اصلاً

یادمون نباشه که کدوم مدل چه تنظیماتی

داشت

لاس کدوم بهتر بود کدوم لرنینگ ریت بهتر

جواب داد

دبلیو ان بی میاد این اطلاعات رو برای هر

راند جداگانه ذخیره می‌کنه

ما بریم سراغ خط به خط اینو با همدیگه ببینیم چیه من بذارید عکس اینو بگیرم که

دیگه هی بالا رو پایین نکنیم

نوشته‌ها رو گرفته جاشو الان بهتر شد خب حتی بالاتر

کجا بودیم اینجا بودیم اولین خطمون که میشه این

یعنی یه فلگ سادهست یعنی اینکه این فعال باشه یا نباشه همین چیز خاصی نیست وقتی تو

روئ یعنی لاگینگ فعاله فالس باشه یعنی

فعال نیست. حالا اگه جایی نیاز داشتیم

فعال نکنیم می‌تونیم اینجا فارس بذاریم.

دقیقاً میگه که یه جاهایی شاید ما بخوایم سریع مدلو تست بکنیم و اصلاً نیاز به ثبت

در حقیقت نداشته باشیم ثبت لاگ می‌تونیم

اینو غیر فعالش بکنیم. بیایم پایین.

دبلیو ان دی بی پراجکت خط بعدیمونه یعنی این اسمشو گذاشتیم ال ام ی که دقیقا اینجا

اسم پروژه رو مشخص می‌کنیم ما مثلاً

گذاشتیم ال ام ی

به این صورت

مثل این که شما بیاید یه پوشه‌ای درست بکنید به اسم ال ام ی

تمام خروجی تمام مثلاً اون مراحل رو داخلش

ذخیره

بعدی چیه؟ اینه

این قسمت

این خط برای هر بار ترینینگ یک اسم منحصر

به فرد درست می‌کنه اسمنم چهجوری داره

درست می‌کنه؟ اسم پروژه

یه خط فاصله بعد اون لحظه طبیعتاً اون

لحظه یونیکه دیگه ترین بعدی لحظهمون عوض

شده زمانمون عوض شده پس این یه مقدار

یونیکه

یه همچین چیزی میشه

بنابراین هر بار که مدلو اجرا بکنیم یه زمان جدیده و میشه یه اسم جدید و لاگ‌های

اون ران به این اسم ذخیره میشه

ونا با همدیگه قاطی نمیشه

دیتا نام رو که می‌دونید یعنی الان این خیلی استفاده کردم

که با این میان اینو تبدیلشون می‌کنن به یک رشته

به این رشته دلخواه

اینم فرمتشه سال ماه روز ساعت دقیقه ثانیه

چرا زمانو داخل نام ران قرار دادیم؟ چرا اینجوری اسمشو درست کردیم؟ فرض کنید امروز

مدلو ۴ بار ترین کنیم اگر همشون اسمشون

این باشه از کجا بفهمیم کدوم کدوم؟ پس

باید یه اسم یونیک داشته باشن ترتیب رو هم

حتی اسمه نشون بده یعنی من الان از این

می‌فهمم که این اولی بوده بعد این بوده

بعد این بوده یعنی ترتیب رو هم می‌رسونه

علاوه بر اینکه اسماشون یونیکه پس این

خیلی اسم گذاری خوبیه

حتی تو توی بعضی پروژه‌ها میگه میان هایپر پارامترای هر ران رو هم اضافه می‌کنن تو

اسم.

یعنی می‌فهمی که تو این رنوم ریتت این

بوده بعد سایزتم انقدر بوده. یعنی این رو

هم داخلش اضافه می‌کنم که خیلی کمک

می‌کنه. یعنی شما با یه نگاه می‌تونید یه

سری اطلاعات حداقل دستتون بیاد.

می‌رسیم به خط بعدی این ایف و دیبیور لاگ میایم داخل. یعنی اگر

لاگین فعال بود منظورش اینه این خط اونوقت

بیا داخل

اینو ایمپورت کن کتابخونه دبلیو ان بیو

ایمپورت کن اگه نباشه باید نصبش بکنین بعد

می‌تونین ایمپورتش کنین اینیشت اس اصلاً

مشخص از اسمش یعنی شروع بکن

این دستور یک اکسپریمنت ران جدید ایجاد می‌کند مثلاً این می‌گوید پرو ران را داخل

پروژه ال ام ۱ قرار بده

پس میگه این پروژه رو داخل اون قرار بده پس اگه اسمش پروژمون این باشه میاد اینو

داخل این قرار میده

ران بعدی که اینا عوض میشه رو دوباره

می‌ریزه داخل این با اسم جدید

میگه اما فقط وند بی اینشیت کافی نیست این نکته مهم‌ترین قسمت لاگینگه کدی که در هست

میین فقط قسمت لاگینگ رو آماده کرده هنوز

چیزی مثل لاس ثبت نشد حالا این قراره تو

ویدیو بعدی باشه و دار جلو جلو میگم برای

ثبت مقادیر باید داخل ترین تر ترنینگ لوپ

از این استفاده بشه حالا من میخواستم اینو

بذارم برای جلسه بعد

اجازه بدید بیام یه جلسه بگم یا نگم

خب بریم همین جلسه بگم خب اینو فعلاً لازم

نداریم چون دیگه تموم شد

میگید کدی که دست میبینید فقط سیستم لاگین رو آماده کردن هنوز چیزی مثل لا ثبت نشده

و ثبت مغز باید داخل یه لوپی قرارش بدیم

مثلاً یه همچین چیزی اگه ترن لوپ داشت داشته باشیم مثلاً میگیم

فور اس برای هر استپ داخل این رنج

بیا مثلاً چیکار کن لاسو حساب کن بعد اگر

این فعال بود بیا اون لاسه رو ثبت کن

ترینی لاس فقط کافی نیست حتی میان دقیقاً ولیدیشن رو اطلاعات ولیدیشن رو هم داخلش

ثبت می‌کنم تو هر لاک

این اطلاعات بچه‌ها میره داخل یه دونه

فایل که اسمشم اون بالا گفتیم می ثبت میشه

داخل پوشه ال ام وان پس این سه تا اطلاعات

میره داخل یه فایلی به این اسم مثلاً

ذخیره میشه داخل پوشه ال ان وان

می‌تونید لرنین ریتوهم بچه‌ها ذخیره کنین داخل لاک کماون که ما لیلین بیتو تو اسمشم

گذاشته بودیم ولی اینجا می‌تونیم جدا هم

ذخیره کنیم اونم داشته باشیم هایپر

پارامترام می‌تونیم ذخیره کنیم هر چیزی رو

بچه‌ها شما می‌تونید این تو ذخیره کنید هر

چیزی که لازم دارید ثبت بشه

اینو اجازه بدید آخر دوره آخر این فصل میایم یه دونه پروژه با همدیگه کامل انجام

میدیم خب اینم از مفهوم لاگینگ بریم بیایم

جلسه بعدی بحثو ادامه بدیم فعلاً خلاص