Chainbase выпустила модель ИИ с открытым исходным кодом Theia-Llama-3.1-8B. Это языковая модель, которая фокусируется на криптографии.

Компания запустила альфа-версию чат-бота под названием TheiaChat в августе. Она была выпущена в то время для раскрытия возможностей Theia.

Обучение Theia проводилось на основе двух источников

Данные, использованные для обучения модели, были взяты из CoinMarketCap и других исследовательских отчетов. Данные CoinMarketCap, использованные для обучения и тонкой настройки Theia-Llama-3.1-8B, включают проектные документы, такие как технические документы, официальные сообщения в блогах и новостные статьи.

Отчеты об исследованиях были получены из надежных интернет-источников, чтобы предоставить глубокое понимание основ проекта, влияния на рынок и хода разработки.

В сообщении в блоге более подробно говорится о том, что данные из этих двух основных источников также прошли ручную и алгоритмическую фильтрацию для уменьшения избыточности и устранения ошибок.

Chainbase также использовала сложные методы тонкой настройки и оптимизации модели. Команда использовала LoRA (Low-Rank Adaptation) для эффективной тонкой настройки. Это помогло адаптировать базовую модель Llama-3.1-8B-Instruct к домену криптовалюты.

Процесс обучения был улучшен с помощью LLaMA Factory и DeepSpeed, включив в него такие передовые методы, как ZeRO, разгрузка, разреженное внимание, 1-битный Adam и конвейерный параллелизм для ускорения обучения и сокращения использования памяти.

В дополнение к тонкой настройке Chainbase оптимизировала модель, чтобы подготовить ее к эффективному развертыванию. Этот процесс квантования уменьшает объем памяти модели и ускоряет вывод, сохраняя при этом приемлемую точность.

Chainbase предложила бенчмарк криптовалютной модели искусственного интеллекта

Для оценки производительности Theia-Llama-3.1-8B компания Chainbase предложила эталонный тест для моделей криптографического ИИ.

Тест оценивает модели по семи параметрам, включая понимание и генерацию криптографических знаний, охват знаний и возможности рассуждения.

Первоначальные результаты бенчмарков, сосредоточенных на возможностях понимания и генерации в криптографической области, показывают, что Theia-Llama-3.1-8B превосходит 11 других LLM. Сюда входят популярные модели от OpenAI, Google, Meta, Qwen и DeepSeek. Модель достигла оценки запутанности 1,184 и оценки BERT 0,861, превзойдя основные модели, которые в настоящее время представлены на рынке.

Chainbase также заявила в своем сообщении в блоге, что производительность Theia-Llama-3.1-8B превосходит производительность основных моделей, доступных в настоящее время на рынке. «Далее мы построим более крупные модели и оценим больше измерений моделей», — заявила Chainbase.