Billion Words
Um conjunto de dados de referência para experimentos de modelagem de linguagem com 1 bilhão de palavras, fornecendo dados de treinamento/teste e resultados de modelo de linha de base para pesquisas reproduzíveis.
Pontuação
30
Avaliação do Usuário
3.0
Suporte Gratuito/Teste
Não Suportado
Preço Inicial
--
Última Atualização
ago 04, 2026
Visão geral
O que é Billion Words?
O projeto Billion Words oferece treinamento padrão e configuração de teste para modelagem de linguagem, usando dados do WMT 2011 News Crawl. Inclui scripts para reconstruir dados e valores de probabilidade de log para modelos básicos como Katz e Kneser-Ney, permitindo benchmarking reproduzível em pesquisas de PNL.
Para que serve o Billion Words?
Principais Recursos
- Conjunto de dados de 1 bilhão de palavras
- Dados de treinamento e teste
- Resultados do modelo de linha de base
- Scripts reproduzíveis
Como usar Billion Words?
Baixe os scripts e dados fornecidos para configurar experimentos de modelagem de linguagem. Use os dados de treinamento para o desenvolvimento do modelo e os dados mantidos para testes, comparando os resultados com os modelos de linha de base usando os resultados de log-probabilidade disponíveis.
Ferramentas Alternativas
Nenhuma ferramenta alternativa encontrada
Prós & Contras
Prós
- Referência padronizada
- Resultados reproduzíveis
- Gratuito e de código aberto
- Suporta vários modelos
Contras
- Requer configuração técnica
- Limitado a uma fonte de dados específica
Casos de Uso
- Benchmarking de pesquisa de PNL
- Desenvolvimento de modelo de linguagem
- Experimentos acadêmicos
Avaliações de Usuários
3.0
de 5
3.0
Ainda não há avaliações
Seja o primeiro a avaliar esta ferramenta!