0:00 / 0:00

راز اجرای هوش مصنوعی آفلاین روی لپ‌ تاپ ضعیف؟ کوانتایزیشن!

۰ بازدید۱۴۰۵/۸/۱۲00:14:42

🤯 می‌دونستی می‌تونی مدل‌های هوش مصنوعی رو بدون اینترنت، روی لپ‌تاپ شخصی خودت اجرا کنی؟ حتی بدون داشتن کارت گرافیک قدرتمند! اما چطور یک مدل هوش مصنوعی که در حالت عادی به حدود ۱۴ گیگابایت حافظه نیاز داره، می‌تونه با حدود ۴ گیگابایت حافظه برای وزن‌های مدل اجرا بشه؟ راز این اتفاق تکنیکی به اسم **کوانتایزیشن (Quantization)** یا فشرده‌سازی مدل‌های هوش مصنوعیه. توی این ویدیو به زبان ساده توضیح می‌دم که چطور مدل‌های زبانی بزرگ (LLM) با استفاده از کوانتایزیشن از ۱۶ بیت به ۴ بیت کاهش پیدا می‌کنن، بدون اینکه لزوماً افت کیفیت زیادی داشته باشن. ⏱️ **فصل‌های ویدیو:** 00:00 راز اجرای هوش مصنوعی روی لپ‌تاپ‌های معمولی 00:42 کوانتایزیشن (Quantization) چیست؟ 01:22 مدل‌های زبانی (LLM) و میلیاردها پارامتر 01:52 بیت چیست و چرا مدل‌های AI این‌قدر سنگین‌اند؟ 03:20 کوانتایزیشن چطور کار می‌کند؟ مثال خط‌کش 04:36 چطور حجم مدل از ۱۴ گیگ به ۴ گیگ می‌رسد؟ 05:21 آیا فشرده‌سازی باعث کاهش هوش مدل می‌شود؟ 06:41 چرا مدل‌های ۴ بیتی هنوز درست جواب می‌دهند؟ 07:12 ترفند گروه‌بندی وزن‌ها برای حفظ دقت 08:13 تفاوت مدل‌های ۲ بیتی، ۴ بیتی و ۸ بیتی 08:45 پرپلکسیتی (Perplexity) و سنجش کیفیت مدل 09:43 فناوری QLoRA و آموزش مدل‌های غول‌پیکر 10:17 فرمت GGUF و ابزارهای Ollama و llama.cpp 11:07 چقدر RAM برای اجرای هوش مصنوعی نیاز داریم؟ 11:46 مدل بزرگ فشرده یا مدل کوچک با دقت بالا؟ 12:21 محدودیت‌های کوانتایزیشن در ریاضی و کدنویسی 13:09 جمع‌بندی؛ راز اجرای هوش مصنوعی آفلاین اگه به هوش مصنوعی، مدل‌های زبانی بزرگ، اجرای مدل‌های AI به‌صورت Local و تکنولوژی‌های پشت ChatGPT و Llama علاقه داری، این ویدیو کمک می‌کنه بفهمی چطور می‌شه قدرت هوش مصنوعی رو با سخت‌افزار محدود در اختیار داشت. 💡 توجه: میزان حافظه موردنیاز به مدل، فرمت کوانتایزیشن و تنظیمات اجرا بستگی داره. اجرای آفلاین هم بعد از دانلود فایل‌های موردنیاز امکان‌پذیره. 💬 **سؤال من از شما:** دوست دارید در ویدیوی بعدی، اجرای عملی یک مدل هوش مصنوعی آفلاین روی لپ‌تاپ رو با Ollama آموزش بدم؟ اگه ویدیو برات مفید بود، با لایک و سابسکرایب از کانال حمایت کن تا آموزش‌های بیشتری از دنیای هوش مصنوعی بسازیم. ❤️ #هوش_مصنوعی #کوانتایزیشن #هوش_مصنوعی_آفلاین

۰ نظر

؟
0/500
برای ارسال نظر، پاسخ، لایک نظر یا گزارش محتوا باید وارد حساب کاربری شوید.
در حال دریافت نظرها…