معرفی TFree-HAT 7B: مدل‌های بدون توکنساز با عملکرد چندزبانه برتر

شرح خبر

آزمایشگاه تحقیقاتی Aleph Alpha دو مدل جدید بدون توکنساز مبتنی بر معماری Hierarchical Autoregressive Transformer (HAT) را معرفی کرد: TFree-HAT-Pretrained-7B-Base و Llama-TFree-HAT-Pretrained-7B-DPO. این مدل‌ها که با زبان‌های انگلیسی و آلمانی آموزش دیده‌اند، در مقیاس 7B برای کار تحت محدودیت‌های استقرار مانند پردازش روی دستگاه یا استقرار محلی طراحی شده‌اند. عملکرد استثنایی آن‌ها در زبان آلمانی، با پیشی گرفتن از Llama 3.1 8B در 67٪ معیارهای ارزیابی آلمانی و همگام بودن با آن در انگلیسی، توجه‌ها را جلب کرده است. علاوه بر این، مدل 7B-DPO در سناریوهای LLM-as-a-judge در 69٪ موارد انگلیسی و 75٪ موارد آلمانی نسبت به Llama 3.1 8B ترجیح داده می‌شود. معماری HAT با پردازش زبان به صورت کلمات کامل، نرخ فشرده‌سازی را بهبود می‌بخشد و FLOPs را در زبان آلمانی تا 40٪ کاهش می‌دهد. Aleph Alpha دو مدل جدید بدون توکنساز به نام‌های TFree-HAT-Pretrained-7B-Base و Llama-TFree-HAT-Pretrained-7B-DPO را بر پایه معماری HAT معرفی کرد. این مدل‌ها که با زبان‌های انگلیسی و آلمانی آموزش دیده‌اند، در مقیاس 7B برای استقرار کارآمد طراحی شده‌اند. آن‌ها در 67٪ معیارهای آلمانی از Llama 3.1 8B پیشی گرفته و در انگلیسی همگام با آن عمل می‌کنند. معماری HAT با پردازش کلمات کامل به جای زیرکلمه‌ها، نرخ فشرده‌سازی را بهبود می‌بخشد و FLOPs را تا 40٪ در آلمانی کاهش می‌دهد. علاوه بر این، مدل DPO در سناریوهای ارزیابی LLM-as-a-judge در 69٪ موارد انگلیسی و 75٪ موارد آلمانی برتری دارد. Aleph Alpha همچنین پیاده‌سازی vLLM و 200 نقطه بررسی پیش‌آموزش را به صورت open-source منتشر کرده است. معرفی مدل‌های بدون توکنساز مانند TFree-HAT 7B می‌تواند چالش‌های توکنسازی سنتی را در زبان‌های کم‌منبع یا حوزه‌های تخصصی حل کند. این مدل‌ها با پردازش کلمات کامل، کارایی محاسباتی را بهبود می‌بخشند و هزینه‌ها را کاهش می‌دهند، که برای استقرار در دستگاه‌ها یا محیط‌های محلی حیاتی است. علاوه بر این، برتری در معیارهای آلمانی و انگلیسی نشان می‌دهد که معماری HAT می‌تواند به عنوان یک پیشرفت مهم در پردازش زبان‌های طبیعی مورد استفاده قرار گیرد. این مدل‌ها می‌توانند هزینه‌های محاسباتی را برای شرکت‌ها کاهش دهند و کارایی پردازش زبان‌های طبیعی را بهبود بخشند. استقرار محلی و پردازش روی دستگاه با این مدل‌ها آسان‌تر می‌شود، که برای کسب‌وکارهایی با محدودیت‌های منابع مفید است. علاوه بر این، برتری در زبان آلمانی می‌تواند فرصت‌های جدیدی را برای بازارهای آلمانی‌زبان ایجاد کند. این فناوری می‌تواند برای پژوهشگران و شرکت‌های ایرانی که در حوزه پردازش زبان‌های طبیعی فعالیت می‌کنند، مفید باشد. بهبود کارایی در زبان‌های کم‌منبع می‌تواند به توسعه مدل‌های بهتر برای زبان فارسی کمک کند. علاوه بر این، کاهش هزینه‌های محاسباتی می‌تواند دسترسی به فناوری‌های پیشرفته را برای سازمان‌های کوچک‌تر در ایران آسان‌تر کند. مدل‌های بدون توکنساز می‌توانند چالش‌های حقوقی مربوط به سوگیری زبانی در مدل‌های سنتی را کاهش دهند. این مدل‌ها با پردازش کلمات کامل، می‌توانند دقت و قابلیت اعتماد را در حوزه‌های تخصصی مانند حقوق بهبود بخشند. علاوه بر این، انتشار open-source پیاده‌سازی vLLM می‌تواند به توسعه جامعه حقوقی و فنی کمک کند. توسعه مدل‌های چندزبانه مانند TFree-HAT 7B می‌تواند رقابت بین شرکت‌های فناوری در اروپا و آمریکا را افزایش دهد. این مدل‌ها می‌توانند به تقویت موقعیت اروپا در حوزه هوش مصنوعی کمک کنند و وابستگی به مدل‌های آمریکایی را کاهش دهند. Aleph Alpha به عنوان یک شرکت پیشرو در حوزه هوش مصنوعی در اروپا، این مدل‌ها را به عنوان بخشی از استراتژی خود برای رقابت با غول‌های آمریکایی مانند NVIDIA و Apple معرفی می‌کند. Aleph Alpha مدل‌های جدید بدون توکنساز را معرفی کرد که در زبان آلمانی و انگلیسی عملکرد برتر دارند و FLOPs را تا 40٪ کاهش می‌دهند.

این صفحه خلاصه و تحلیل فارسی خبر را نمایش می‌دهد. نسخه کامل/اصلی از طریق لینک منبع در دسترس است.