Tencent Hunyuan запускает квантованную модель Hy3 с 295 миллиардами параметров, которую можно развернуть на одном GPU

TENCENT-0,30%
Недавно Tencent Hunyuan выпустила квантизированные версии своей модели Hy3 в ответ на запросы сообщества, позволив запустить модель с 295 миллиардами параметров на одном GPU для инференса или даже на локальных машинах при наличии достаточного объёма памяти. Команда квантизировала веса Hy3 до 1-битной и 4-битной точности, упаковывала их в формате GGUF и интегрировала с экосистемой llama.cpp, благодаря чему то, что раньше требовало кластеров из нескольких GPU, теперь доступно для более широких сценариев развертывания.
Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.
комментарий
0/400
Нет комментариев