نوآوری جدید AWS: جداسازی پیشپردازش و رمزگشایی برای استنتاج LLM
آمازون وب سرویسز روش جداسازی پیشپردازش و رمزگشایی (DPD) را برای استنتاج مدلهای زبانی بزرگ در SageMaker HyperPod معرفی کرد. این روش با اجرای هر فاز بر روی استخرهای جداگانه GPU، تد…
آخرین اخبار استنتاج مدل
مدیریت هوش مصنوعی بر روی مک با جمف و آمازون بدراک
جمف، ارائهدهنده راهکارهای مدیریت دستگاههای اپل، با همکاری آمازون بدراک، راهحلی برای حاکمیت هوش مصنوعی ارائه کرده است. این راهکار به سازمانها اجازه میدهد تا برنامههای هوش مصنوع…
ایامدی در استنتاج مدلهای بزرگ از انویدیا پیشی گرفت!
مدل MiniMax-M3 با ۴۲۸ میلیارد پارامتر و ۲۲ میلیارد پارامتر فعال در هر توکن، نخستین مدل چندوجهی با وزن باز است که کدگذاری پیشرفته، پنجره زمینهای یکمیلیون توکنی و درک متن، تصویر و …