TFree-HAT 7B: انقلاب در پردازش زبانهای طبیعی با معماری HAT
Aleph Alpha دو مدل جدید بدون توکنساز به نامهای TFree-HAT-Pretrained-7B-Base و Llama-TFree-HAT-Pretrained-7B-DPO را بر پایه معماری HAT معرفی کرد. این مدلها که با زبانهای انگلیسی …
آخرین اخبار vLLM
Kimi K3: نخستین مدل وزنی باز ۳ تریلیون پارامتری بر روی AWS
Moonshot AI مدل Kimi K3 را با ۲.۸ تریلیون پارامتر و معماری MoE معرفی کرد که نخستین مدل وزنی باز در کلاس ۳ تریلیون پارامتری است. این مدل با معماریهای KDA، MLA و Stable LatentMoE سا…
چرا استنتاج میزبانیشده داخلی برای عاملهای هوش مصنوعی ضروری است؟
استفاده از APIهای شخص ثالث برای استنتاج مدلهای هوش مصنوعی، کنترل سازمانها را بر دادهها و فرآیندها کاهش میدهد. این وابستگی میتواند منجر به شکستهای عملیاتی و حاکمیتی شود، مانن…
AMD MI355 اکنون از مدلهای NVFP4 پشتیبانی میکند!
AMD خط لولهای برای شبیهسازی مدلهای NVFP4 بر روی شتابدهندههای MI355 معرفی کرد که امکان استقرار مستقیم این مدلها را بدون تبدیل آفلاین فراهم میکند. این خط لوله در vLLM یکپارچه …
اوراکل معماری جدیدی برای اجرای LLMs با RAG بر روی OKE معرفی کرد
اوراکل معماری مرجع جدیدی برای اجرای مدلهای زبانی بزرگ (LLM) با پشتیبانی GPU و تکنولوژی RAG بر روی Oracle Container Engine for Kubernetes (OKE) معرفی کرده است. این معماری کاملا با …
انقلابی در استنتاج مدلهای هوش مصنوعی: بکاند مدلسازی ترنسفورمرز با سرعت بومی در vLLM
کتابخانه ترنسفورمرز به عنوان استاندارد مدلسازی در یادگیری ماشین شناخته میشود و از بیش از ۴۵۰ معماری پشتیبانی میکند. ادغام آن به عنوان بکاند مدلسازی در vLLM امکان اجرا کردن مدله…
چگونه کوهیر با هوش مصنوعی نگهداری فورکها را متحول کرد؟
کوهیر روش جدیدی برای خودکارسازی نگهداری فورکها با استفاده از عاملهای هوش مصنوعی معرفی کرده است. این روش بر روی فورک vLLM این شرکت پیادهسازی شده و زمان جذب نسخههای جدید آپستریم …