De acordo com as notícias do ChainCatcher, a rede de dados de cadeia completa Chainbase anunciou que abrirá o código-fonte de seu grande modelo de linguagem Theia-Llama-3.1-8B especialmente construído para o campo de criptografia no HuggingFace. Este modelo supera os modelos convencionais do mercado em termos de perplexidade e pontuação BERT, e sua capacidade de compreender o mundo da criptografia excede a da maioria dos grandes modelos convencionais de código aberto.
A equipe da Chainbase construiu de forma criativa o primeiro conjunto de dados Web3 profissional, que inclui várias informações sobre os 2.000 principais projetos do CoinMarketCap. Os conjuntos de dados são filtrados manual e algoritmicamente para garantir a precisão, diversidade e profissionalismo dos dados de treinamento. Com base nesse conjunto de dados, a equipe usou a tecnologia LoRA para ajustar o modelo com eficiência e usou ferramentas como DeepSpeed para acelerar o processo de treinamento. O modelo é quantizado no formato Q8 GGUF, o que reduz bastante o uso de memória e melhora a velocidade de inferência.
É relatado que Theia-Llama-3.1-8B é a tentativa inicial da Chainbase de um grande modelo no campo de criptografia e o modelo foi aplicado com sucesso ao aplicativo interativo Chainbase DEMO TheiaChat, que atualmente tem mais de 300.000 usuários ativos diariamente.