Billion Words
Un conjunto de datos de referencia para experimentos de modelado del lenguaje con mil millones de palabras, que proporciona datos de entrenamiento/prueba y resultados del modelo de referencia para investigaciones reproducibles.
Puntuación
30
Calificación de Usuario
3.0
Soporte Gratuito/Prueba
No Soportado
Precio Inicial
--
Última Actualización
ago 04, 2026
Resumen
¿Qué es Billion Words?
El proyecto Billion Words ofrece una configuración estándar de capacitación y prueba para el modelado de lenguajes, utilizando datos de WMT 2011 News Crawl. Incluye scripts para reconstruir datos y registrar valores de probabilidad para modelos de referencia como Katz y Kneser-Ney, lo que permite realizar evaluaciones comparativas reproducibles en la investigación de PNL.
¿Para qué se usa Billion Words?
Características Principales
- Conjunto de datos de mil millones de palabras
- Datos de entrenamiento y pruebas.
- Resultados del modelo de referencia
- Guiones reproducibles
¿Cómo usar Billion Words?
Descargue los scripts y los datos proporcionados para configurar experimentos de modelado de lenguaje. Utilice los datos de entrenamiento para el desarrollo del modelo y los datos reservados para las pruebas, comparando los resultados con los modelos de referencia utilizando los resultados de probabilidad logarítmica disponibles.
Herramientas Alternativas
No se encontraron herramientas alternativas
Pros & Contras
Pros
- Punto de referencia estandarizado
- Resultados reproducibles
- Gratis y de código abierto
- Soporta múltiples modelos
Contras
- Requiere configuración técnica
- Limitado a una fuente de datos específica
Casos de Uso
- Evaluación comparativa de la investigación de PNL
- Desarrollo de modelos de lenguaje
- Experimentos academicos
Reseñas de Usuarios
3.0
de 5
3.0
Aún no hay reseñas
¡Sé el primero en reseñar esta herramienta!