Компания Tether представила структуру искусственного интеллекта, позволяющую обучать модели на смартфонах

Основные сведения

• Компания Tether представила фреймворк, позволяющий обучать большие языковые модели на смартфонах.
• Система использовала архитектуру BitNet и тонкую настройку LoRA для снижения потребности в вычислениях.
• Криптовалютные компании увеличили расходы на инфраструктуру ИИ и высокопроизводительные вычисления.

Во вторник компания Tether выпустила новую систему обучения искусственного интеллекта, которая позволяет запускать и настраивать большие языковые модели на потребительском оборудовании. Система является частью платформы QVAC компании и поддерживает смартфоны наряду с несколькими процессорами не Nvidia. Инженеры разработали фреймворк таким образом, чтобы снизить требования к памяти, тем самым уменьшив стоимость создания и тестирования языковых моделей.

Запуск произошел на фоне того, как компании, занимающиеся криптоинфраструктурой, все глубже погружаются в разработку искусственного интеллекта и вычислительные рынки. Компания Tether, выпускающая крупнейший по рыночной капитализации стейблкоин, объяснила выпуск как попытку децентрализовать возможности машинного обучения. Компания утверждала, что возможность обучения моделей на широкодоступном оборудовании может снизить зависимость от централизованных облачных провайдеров.

Компания Tether представила систему обучения на основе BitNet

В анонсе Tether описывается фреймворк как обучающая среда, построенная на архитектуре BitNet от Microsoft. В конструкции используются однобитные структуры нейронных сетей в сочетании с методами тонкой настройки LoRA, что позволяет разработчикам настраивать модели, сохраняя при этом низкие требования к вычислениям.

Инженеры компании заявили, что система обучила языковые модели с количеством параметров до одного миллиарда на смартфонах менее чем за два часа. Более мелкие модели, как сообщается, завершали обучение в течение нескольких минут, когда их оптимизировали с помощью того же подхода. Компания также заявила, что платформа поддерживает модели, достигающие тринадцати миллиардов параметров на мобильных устройствах.

Инженеры построили систему таким образом, чтобы она работала в нескольких аппаратных экосистемах, а не полагалась на чипы Nvidia. Система поддерживала процессоры AMD, архитектуры Intel, системы Apple Silicon, а также мобильные графические процессоры от Qualcomm и Apple. Такая совместимость расширила доступ к экспериментам по машинному обучению за пределы традиционных высокопроизводительных вычислительных кластеров.

Технический дизайн также снизил требования к графической памяти по сравнению со стандартными моделями. Результаты внутренних инженерных исследований показали, что архитектура BitNet сократила использование VRAM до 77,8% по сравнению с аналогичными 16-битными системами.

Tether выводит вычисления в области искусственного интеллекта за пределы оборудования Nvidia

По словам Tether, эта архитектура позволяет выполнять тонкую настройку LoRA на оборудовании, не входящем в экосистему Nvidia. Разработчики исторически зависели от графических процессоров Nvidia для тренировочных нагрузок, поскольку эти чипы эффективно справлялись с большими тензорными вычислениями. Инженеры Tether попытались устранить это ограничение, предоставив возможность использовать низкобитные методы обучения на альтернативных процессорах.

Компания утверждает, что эта архитектура также улучшила скорость обработки выводов для мобильных рабочих нагрузок. Тесты показали, что мобильные графические процессоры обрабатывали модели BitNet в несколько раз быстрее, чем стандартные центральные процессоры. Эта разница позволила запускать модели локально на портативных устройствах, а не использовать удаленную облачную инфраструктуру.

Разработчики также изучили методы распределенного машинного обучения в рамках системы. В Tether описано потенциальное использование моделей распределенного обучения, которые обновляются в сети независимых устройств. При такой структуре модели обучаются на локальных данных, сохраняя информацию на каждом устройстве, а не загружая ее на централизованные серверы.

Компания предположила, что такой подход может поддержать среду обучения, ориентированную на конфиденциальность. Данные оставались локальными, а по сети передавались только обновления моделей. Такая архитектура отражает тенденции в децентрализованных вычислительных системах и распределенных криптографических сетях.

Расширение Tether отражает стремление криптовалютной индустрии к искусственному интеллекту

Рыночная активность в секторе цифровых активов свидетельствует о росте инвестиций в инфраструктуру искусственного интеллекта. Криптовалютные компании все чаще перепрофилируют вычислительные мощности, изначально созданные для операций с блокчейном, на рабочие нагрузки, связанные с машинным обучением.

Публичные документы свидетельствуют о том, что технологические компании создают партнерства для обеспечения вычислительных мощностей, связанных с потребностями искусственного интеллекта. Сделка, о которой было объявлено в сентябре, дала Google миноритарную долю в Cipher Mining в рамках 10-летнего соглашения стоимостью 3 миллиарда долларов. Это соглашение привязывает мощности дата-центров к потребностям в обработке данных искусственного интеллекта.

Корпоративные объявления позже показали, что фирмы, занимающиеся добычей Биткойна, также перенаправили капитал на услуги машинного обучения. В декабре майнер IREN сообщил о планах привлечь около 3,6 миллиардов долларов на расширение инфраструктуры для операций с искусственным интеллектом.

Отчеты о доходах компаний в начале года подтвердили ту же тенденцию. Компания HIVE Digital Technologies сообщила о доходе в 93,1 млн. долларов после расширения своих услуг в области высокопроизводительных вычислений. Примерно в тот же период компания Core Scientific привлекла кредит в размере $500 млн. от Morgan Stanley для поддержки роста своей вычислительной инфраструктуры.

Разработчики также экспериментировали с автономными агентами искусственного интеллекта, интегрированными в инфраструктуру блокчейна. Coinbase запустила инструменты для кошельков, которые позволяют программным агентам выполнять транзакции непосредственно на цепочке. Компания Alchemy представила услуги, позволяющие агентам получать доступ к данным блокчейна и осуществлять платежи через инфраструктуру stablecoin.

Сети идентификации также исследовали связь между системами искусственного интеллекта и цифровой верификацией. World, сеть идентификации, соучредителем которой является глава OpenAI Сэм Альтман, выпустила AgentKit ранее на этой неделе. Этот набор инструментов позволяет программным агентам подтверждать свою связь с уникальной человеческой личностью с помощью системы World ID.

Последняя разработка Tether вошла в тот самый расширяющийся сектор, где пересекаются вычислительные ресурсы, машинное обучение и системы блокчейн.

По словам компании, разработчики могут интегрировать инструменты обучения в распределенные приложения и локальные устройства, не полагаясь на централизованные серверы.

Дальнейшее развитие системы искусственного интеллекта Tether будет зависеть от принятия разработчиками и тестирования производительности на уровне устройств. Инженеры, вероятно, будут следить за тем, как платформа QVAC справляется с большими моделями на распределенном потребительском оборудовании во время предстоящих релизов.

The post Компания Tether представила структуру искусственного интеллекта, позволяющую обучать модели на смартфонах appeared first on The Coin Republic.