Trajectory запускає відкриту платформу SkyRL з відкритим кодом і досягає покращення пропускної здатності в 2,81x

За даними OneMillion_AI, Trajectory у співпраці з Sky Computing Lab Університету Каліфорнії в Берклі та Anyscale нещодавно оголосили open-source платформу SkyRL і архітектуру Multi-LoRA Training для донавчання великих мовних моделей. Система усуває неефективність традиційної оптимізації моделей, зберігаючи спільну базу моделі в пам’яті GPU та розглядаючи кілька експериментів із донавчання як легкі модулі-адаптери. Тестування показало, що наскрізна пропускна здатність експериментів зросла в 2,81 раза, а пропускна здатність за абсолютним часом на одному вузлі досягла покращення в 3,25 раза, що дозволяє великим моделям здійснювати саморозвиток на рівні годин завдяки даним реального виробництва в режимі реального часу. Навчальний код уже доступний у репозиторії SkyRL.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів