Согласно отчету Pinplay от 19 октября, на странице Arxiv показано, что Microsoft Research совместно с Университетом Китайской академии наук и Университетом Цинхуа совместно выпустили статью и анонсировали масштабируемую и стабильную 1-$BIT$ Transformer архитектуру BitNet. BitNet предназначен для больших языковых моделей. Исследовательская группа сообщила, что для обучения 1-битному весу команда представила BitLinear как nn. Альтернатива слою $LINEAR$ . Результаты экспериментов показывают, что BitNet достигает конкурентоспособной производительности в задачах языкового моделирования, при этом значительно сокращая объем памяти и энергопотребление. Кроме того, BitNet представляет закон масштабирования, аналогичный закону трансформеров полной точности, показывая, что у него есть потенциал для масштабирования до более крупных языковых моделей, сохраняя при этом преимущества эффективности и производительности.

#биткоин #микрософт

#axs #zkevm #etf #наслаждайтесь #crypto2023 #cryptonews