انقلاب در آموزش RNNها: معرفی ParaRNN توسط Apple
محققان Apple چارچوب ParaRNN را معرفی کردند که آموزش موازی شبکههای عصبی بازگشتی (RNN) غیرخطی را امکانپذیر میسازد. این چارچوب سرعت آموزش را ۶۶۵ برابر سریعتر از روشهای سنتی میکن…
آخرین اخبار ترنسفورمر
DiScoFormer: ترنسفورمری که چگالی و امتیاز را همزمان برآورد میکند!
محققان آلن اینستیتوت و هاگینگ فیس مدل **DiScoFormer** را معرفی کردند که با معماری ترنسفورمر، چگالی و امتیاز توزیعها را همزمان برآورد میکند. این مدل از توجه متقاطع برای ارزیابی در…
NVIDIA NeMo AutoModel: انقلاب در آموزش مدلهای هوش مصنوعی
NVIDIA کتابخانه NeMo AutoModel را برای شتابدهی تنظیم دقیق مدلهای ترنسفورمر معرفی کرد. این کتابخانه بر پایه ترنسفورمرز نسخه ۵ ساخته شده و با افزودن موازیسازی متخصص، DeepEP و هسته…
آیبیام با CoFrGeNets انقلاب جدیدی در هوش مصنوعی ایجاد کرد!
پژوهشگران آیبیام معماری جدیدی به نام CoFrGeNets را معرفی کردند که از کسرهای مستمر برای جایگزینی اجزای اصلی مدلهای ترنسفورمر استفاده میکند. این شبکهها با استفاده از ساختارهای ر…