Inkling: مدل چندوجهی جدید با استدلال کنترلپذیر در Together AI
Thinking Machines Lab مدل چندوجهی جدید Inkling را با معماری mixture-of-experts معرفی کرد که برای استدلال کارآمد توکن و درک چندوجهی طراحی شده است. Together AI این مدل را از روز اول …
آخرین اخبار، تحلیلها و تحولات مرتبط با mixture-of-experts در Titr Tech.
Thinking Machines Lab مدل چندوجهی جدید Inkling را با معماری mixture-of-experts معرفی کرد که برای استدلال کارآمد توکن و درک چندوجهی طراحی شده است. Together AI این مدل را از روز اول …
DeepSeek مدلهای V4-Pro و V4-Flash را با معماری mixture-of-experts و پنجره متنی یکمیلیون توکنی منتشر کرد. V4-Pro با ۱.۶ تریلیون پارامتر کل و ۴۹ میلیارد پارامتر فعال، بزرگترین مدل…
شرکت Thinking Machines به سرپرستی میرا موراتی، اولین مدل بازوزن خود به نام Inkling را با ۹۷۵ میلیارد پارامتر معرفی کرد. این مدل با وجود اینکه بهترین مدل موجود نیست، ویژگیهای منحصر…
AMD مدل زبانی Instella-MoE را معرفی کرد که یک مدل MoE با ۱۶ میلیارد پارامتر کلی و ۲.۸ میلیارد پارامتر فعال است. این مدل بر روی GPUهای MI300X و MI325X و با پشته ROCm آموزش دیده و از…
تنسنت مدل Hy3 را بهصورت رسمی منتشر کرد که بر پایه معماری MoE ساخته شده و دارای ۲۹۵ میلیارد پارامتر کلی و ۲۱ میلیارد پارامتر فعال است. این مدل عملکردی معادل مدلهای پرچمدار با مقیا…
یادگیری تقویتی (RL) برای بهبود تواناییهای استدلال و حل مسئله مدلهای زبانی حیاتی است، اما الگوریتمهای فعلی مانند GRPO در آموزش طولانیمدت ناپایدار هستند و منجر به فروپاشی مدل می…
آمازون SageMaker AI امکان سفارشیسازی بدون سرور مدلهای NVIDIA Nemotron 3 را ارائه کرده است. این مدلها بر پایه معماری هیبریدی MoE ساخته شدهاند و از طول متن تا ۱ میلیون توکن پشتیب…
مسترال ایآی مدل Mistral Small 4 را معرفی کرد که نخستین مدل این شرکت است که قابلیتهای Magistral، Pixtral و Devstral را در یک مدل واحد ادغام میکند. این مدل هیبریدی با معماری Mixtur…
شرکت Cohere مدل Command A+ را به صورت متنباز و تحت مجوز Apache 2.0 منتشر کرد. این مدل از معماری mixture-of-experts (MoE) استفاده میکند و برای انجام وظایف عاملمحور با کارایی بالا …