Billion Words
A benchmark dataset for language modeling experiments with 1 billion words, providing training/test data and baseline model outputs for reproducible research.
ภาพรวม
Billion Words คืออะไร?
โครงการ Billion Words เสนอการฝึกอบรมมาตรฐานและการตั้งค่าการทดสอบสำหรับการสร้างแบบจำลองภาษา โดยใช้ข้อมูลการรวบรวมข้อมูล WMT 2011 News ประกอบด้วยสคริปต์สำหรับสร้างข้อมูลใหม่และค่าความน่าจะเป็นของบันทึกสำหรับโมเดลพื้นฐาน เช่น Katz และ Kneser-Ney ซึ่งช่วยให้สามารถเปรียบเทียบมาตรฐานที่ทำซ้ำได้ในการวิจัย NLP
Billion Words ใช้สำหรับอะไร?

คุณสมบัติหลัก
- ชุดข้อมูล 1 พันล้านคำ
- ข้อมูลการฝึกอบรมและการทดสอบ
- เอาต์พุตโมเดลพื้นฐาน
- สคริปต์ที่ทำซ้ำได้
วิธีใช้ Billion Words?
ดาวน์โหลดสคริปต์และข้อมูลที่ให้มาเพื่อตั้งค่าการทดสอบการสร้างแบบจำลองภาษา ใช้ข้อมูลการฝึกอบรมสำหรับการพัฒนาแบบจำลองและข้อมูลที่ถูกเก็บไว้สำหรับการทดสอบ เปรียบเทียบผลลัพธ์กับแบบจำลองพื้นฐานโดยใช้เอาต์พุตความน่าจะเป็นของบันทึกที่มีอยู่
เครื่องมือทางเลือก
ข้อดี & ข้อเสีย
ข้อดี
- เกณฑ์มาตรฐานที่ได้มาตรฐาน
- ผลลัพธ์ที่ทำซ้ำได้
- ฟรีและโอเพ่นซอร์ส
- รองรับหลายรุ่น
ข้อเสีย
- ต้องมีการตั้งค่าทางเทคนิค
- จำกัดเฉพาะแหล่งข้อมูลเฉพาะ
กรณีการใช้งาน
- การเปรียบเทียบการวิจัย NLP
- การพัฒนารูปแบบภาษา
- การทดลองทางวิชาการ
รีวิวผู้ใช้
ยังไม่มีรีวิว
เป็นคนแรกที่รีวิวเครื่องมือนี้!