معرفی Instella-MoE: مدل زبانی پیشرفته و کاملا باز از نوع Mixture-of-Experts توسط AMD

شرح خبر

شرکت AMD به تازگی مدل زبانی Instella-MoE را معرفی کرده است، یک مدل پیشرفته و کاملا باز از نوع Mixture-of-Experts (MoE) با ۱۶ میلیارد پارامتر کلی و ۲.۸ میلیارد پارامتر فعال در هر توکن. این مدل از صفر بر روی GPUهای AMD Instinct MI300X و MI325X و با استفاده از پشته نرم‌افزاری AMD ROCm آموزش دیده است. Instella-MoE با ترکیب طراحی MoE با فعال‌سازی پراکنده و نوآوری‌های معماری مانند Gated Multi-head Latent Attention (Gated MLA) و اتصال FarSkip-Collective، عملکرد رقابتی در طیف گسترده‌ای از معیارهای ارزیابی ارائه می‌دهد. این مدل به عنوان یکی از قوی‌ترین مدل‌های زبانی کاملا باز در مقیاس خود شناخته می‌شود. AMD تمام منابع مربوط به این مدل از جمله وزن‌ها، پیکربندی‌های آموزش، ترکیب داده‌ها و کدها را به صورت عمومی منتشر کرده است تا جامعه هوش مصنوعی بتواند از آن‌ها برای همکاری و نوآوری استفاده کند. AMD مدل زبانی Instella-MoE را معرفی کرد که یک مدل MoE با ۱۶ میلیارد پارامتر کلی و ۲.۸ میلیارد پارامتر فعال است. این مدل بر روی GPUهای MI300X و MI325X و با پشته ROCm آموزش دیده و از نوآوری‌هایی مانند Gated MLA و FarSkip-Collective بهره می‌برد. Instella-MoE عملکرد رقابتی در مقایسه با مدل‌های متراکم و MoE دیگر دارد. AMD تمام منابع مدل از جمله وزن‌ها، کدها و پیکربندی‌ها را به صورت باز منتشر کرده است. معماری این مدل شامل ۲۷ لایه دیکدر با اندازه مخفی ۲۰۴۸ و طراحی کارشناس مشترک-مسیریابی شده است. هدف از انتشار این مدل، کمک به جامعه هوش مصنوعی برای همکاری و شتاب بخشیدن به نوآوری است. این مدل نشان‌دهنده پیشرفت قابل توجهی در توسعه مدل‌های زبانی باز و کارآمد است که می‌تواند رقابت در حوزه هوش مصنوعی را افزایش دهد. استفاده از معماری MoE و نوآوری‌هایی مانند Gated MLA باعث بهبود کارایی و مقیاس‌پذیری مدل‌ها می‌شود که می‌تواند تأثیر زیادی بر توسعه آینده مدل‌های زبانی داشته باشد. علاوه بر این، انتشار کامل منابع مدل توسط AMD می‌تواند به شفافیت و همکاری بیشتر در جامعه هوش مصنوعی کمک کند و روند توسعه مدل‌های باز را تسریع بخشد. این مدل می‌تواند به شرکت‌ها و پژوهشگران کمک کند تا با هزینه کمتر و کارایی بالاتر، مدل‌های زبانی پیشرفته‌ای را توسعه دهند. AMD با ارائه سخت‌افزار و نرم‌افزار یکپارچه، موقعیت خود را در بازار هوش مصنوعی تقویت می‌کند و می‌تواند سهم بیشتری از بازار را به خود اختصاص دهد. همچنین، این مدل می‌تواند به عنوان یک جایگزین باز و کارآمد برای مدل‌های انحصاری مورد استفاده قرار گیرد. دسترسی به مدل‌های باز مانند Instella-MoE می‌تواند به پژوهشگران و شرکت‌های ایرانی کمک کند تا بدون وابستگی به مدل‌های انحصاری، تحقیقات و توسعه‌های خود را در حوزه هوش مصنوعی پیش ببرند. این امر می‌تواند به کاهش هزینه‌ها و افزایش نوآوری در ایران کمک کند. همچنین، استفاده از سخت‌افزارهای AMD می‌تواند گزینه‌ای برای دور زدن محدودیت‌های تحریمی در دسترسی به فناوری‌های پیشرفته باشد. انتشار مدل‌های باز مانند Instella-MoE می‌تواند به بحث‌های حقوقی در مورد مالکیت فکری و استفاده از داده‌ها دامن بزند. این مدل‌ها می‌توانند استانداردهای جدیدی برای شفافیت و همکاری در توسعه هوش مصنوعی ایجاد کنند. علاوه بر این، استفاده از معماری‌های نوین مانند MoE می‌تواند چالش‌های حقوقی جدیدی را در زمینه ثبت اختراع و حفاظت از نوآوری‌ها به وجود آورد. توسعه مدل‌های زبانی باز توسط شرکت‌های آمریکایی مانند AMD می‌تواند تأثیراتی بر رقابت‌های ژئوپلیتیکی در حوزه فناوری داشته باشد. دسترسی به چنین مدل‌هایی می‌تواند به کشورها کمک کند تا وابستگی خود به شرکت‌های خاص را کاهش دهند و استقلال فناوری بیشتری کسب کنند. AMD به عنوان یک شرکت پیشرو در حوزه سخت‌افزار و نرم‌افزار، با معرفی این مدل سعی دارد موقعیت خود را در بازار هوش مصنوعی تقویت کند و نشان دهد که پشته ROCm می‌تواند برای آموزش مدل‌های پیشرفته مورد استفاده قرار گیرد. Instella-MoE، مدل زبانی پیشرفته AMD با ۱۶ میلیارد پارامتر و معماری MoE، کاملا باز و قابل دسترسی است. این مدل بر روی GPUهای MI300X آموزش دیده و نوآوری‌هایی مانند Gated MLA را در بر می‌گیرد.

این صفحه خلاصه و تحلیل فارسی خبر را نمایش می‌دهد. نسخه کامل/اصلی از طریق لینک منبع در دسترس است.