1. Tổng quan

Xử lý văn bản tỷ lệ cá cược bóng đá anh bài toán xử lý ngôn ngữ tự nhiên là một lĩnh vực nghiên cứu rộng, phức tạp và có nhiều ứng dụng tỷ lệ cá cược bóng đá anh thực tế. Một tỷ lệ cá cược bóng đá anh những ứng dụng phổ biến đó là bài toán phân loại văn bản. Phân loại văn bản là nhiệm vụ gán nhãn cho các tài liệu hoặc chủ đề hoặc câu dựa trên nội dung của chúng. Phân loại văn bản có thể dựa trên các thuật toán học máy hoặc các phương pháp thống kê.

Mô tỷ lệ cá cược bóng đá anh ngôn ngữ thống kê n-gram đóng vai trò quan trọng trong phân loại văn bản trong xử lý ngôn ngữ tự nhiên. Sử dụng mô tỷ lệ cá cược bóng đá anh n-gram để giải quyết bài toán này sẽ có nhiều lợi ích. Mô tỷ lệ cá cược bóng đá anh thống kê n-gram là một trong những phương pháp cơ bản và phổ biến trong xử lý ngôn ngữ tự nhiên để dự đoán xác suất xuất hiện của một từ dựa trên các từ liền kề trước đó.

Một n-gram là một chuỗi gồm n từ liên tiếp tỷ lệ cá cược bóng đá anh một câu hoặc đoạn văn. Giá trị của n chỉ ra số từ được xem xét tỷ lệ cá cược bóng đá anh một chuỗi, đó là:

• Unigram (n=1): chuỗi gồm 1 từ
• Bigram (n=2): chuỗi gồm 2 từ liên tiếp
• Trigram (n=3): chuỗi gồm 3 từ liên tiếp
• tỷ lệ cá cược bóng đá anh (n): chuỗi gồm n từ liên tiếp.

Mô tỷ lệ cá cược bóng đá anh n-gram dựa trên xác suất có điều kiện để dự đoán từ tiếp theo trong chuỗi dựa trên n-1 từ trước đó. Vì vậy để xây dựng mô tỷ lệ cá cược bóng đá anh n-gram, chúng ta thường phải thực hiện các bước sau:

• Thu thập dữ liệu: Sử dụng một tập dữ liệu lớn để thu thập tất cả các tỷ lệ cá cược bóng đá anh có thể có từ văn bản.
• Đếm tần suất: Đếm tần suất xuất hiện của mỗi tỷ lệ cá cược bóng đá anh

- Tính toán xác suất: Xác suất của tỷ lệ cá cược bóng đá anh được tính bằng tần suất xuất hiện của tỷ lệ cá cược bóng đá anh đó chia cho tổng số lần xuất hiện của n-1 từ trước đó.

Với cách thức xây dựng như vậy, mô tỷ lệ cá cược bóng đá anh ngôn ngữ thống kê n- gram có các ưu điểm sau:

• Đơn giản và dễ hiểu: dễ triển khai và không yêu cầu tính toán phức tạp.
• Nhanh và hiệu quả: Với các giá trị n nhỏ, mô tỷ lệ cá cược bóng đá anh n-gram có thể được tính toán nhanh chóng và hiệu quả.
• Phù hợp với các ứng dụng cục bộ: tỷ lệ cá cược bóng đá anh nắm bắt tốt các ngữ cảnh ngắn, dự đoán từ tiếp theo.

Đối với bài toán phân loại văn bản thì cách tiếp cận mô tỷ lệ cá cược bóng đá anh ngôn ngữ thống kê N-gram còn có thêm các lợi thế và ưu điểm khác.

Một là, không giống như tiếng Anh, nhận dạng từ trong tiếng Việt không tuân theo khoảng trắng, do đó, cách tiếp cận phân loại dựa trên túi từ đối với bài toán phân loại văn bản tiếng Việt gặp phải khó khăn đó là vấn đề phân đoạn từ. Hiệu quả của việc phân loại phụ thuộc rất nhiều vào phân đoạn từ đã nêu ở trên. Để giải quyết khó khăn này thì mô tỷ lệ cá cược bóng đá anh ngôn ngữ thống kê n-gram là lựa chọn tốt. Cách tiếp cận này có ưu điểm của mô tỷ lệ cá cược bóng đá anh ngôn ngữ dựa trên từ, đó là không phải giải quyết vấn đề phân đoạn từ rất khó đối với tiếng Việt đã nêu ở trên.

Hai là vấn đề lựa chọn đặc trưng, có thể nói lựa chọn đặc trưng trong phân loại văn bản là bước có nhiều vấn đề cần xử lý và khá khó khăn do đặc điểm của tiếng Việt, như việc lựa chọn số đặc trưng phù hợp, giải quyết số chiều của đặc trưng trong phân loại văn bản. Tuy nhiên khi sử dụng mô tỷ lệ cá cược bóng đá anh ngôn ngữ thống kê n-gram thì vấn đề này cũng được giải quyết.

Ngoài ra, mô tỷ lệ cá cược bóng đá anh ngôn ngữ dựa trên từ có kích thước nhỏ hơn mô tỷ lệ cá cược bóng đá anh dựa trên từ và cũng giảm bớt vấn đề dữ liệu thưa thớt. Tuy nhiên, sử dụng ngôn ngữ thống kê cũng có những nhược điểm như một số thuật ngữ sẽ không được nhận dạng tốt, hoặc nhận dạng sẽ sai. Hiệu ứng của ứng dụng n-gram trong phân loại văn bản là xác định tần suất xuất hiện trong nhóm đầu tiên của danh sách được sắp xếp. Trong thực tế, số lượng k-gram sẽ tăng lên đáng kể vì với mỗi k-gram xuất hiện, sẽ có 2(k+1)-gram xuất hiện cùng với nó.

2. Sử dụng mô tỷ lệ cá cược bóng đá anh n-gram như một công cụ phân loại văn bản

Mô tỷ lệ cá cược bóng đá anh hóa ngôn ngữ thống kê liên quan đến việc xác định xác suất các chuỗi từ xuất hiện tự nhiên trong một ngôn ngữ. Đây là một nhiệm vụ phổ biến trong xử lý ngôn ngữ tự nhiên. Mô tỷ lệ cá cược bóng đá anh n-gram là một cách đơn giản và hiệu quả để thực hiện mô tỷ lệ cá cược bóng đá anh hóa ngôn ngữ và trong mô tỷ lệ cá cược bóng đá anh này, một từ được cho là chỉ phụ thuộc vào n-1 từ trước đó. Mặc dù nghiên cứu mô tỷ lệ cá cược bóng đá anh hóa ngôn ngữ cơ bản rất khó khăn, nhưng mô tỷ lệ cá cược bóng đá anh hóa ngôn ngữ đang ngày càng được chú ý vì nó đã được áp dụng thành công vào nhiều vấn đề thực tế.

Sử dụng phương phương pháp mô tỷ lệ cá cược bóng đá anh hóa ngôn ngữ thống kê n-gram để phân loại văn bản đó là áp dụng mô tỷ lệ cá cược bóng đá anh ngôn ngữ dựa trên âm tiết, tức là coi văn bản như một chuỗi các âm tiết liên tiếp. Lý do sử dụng này là để tận dụng mô tỷ lệ cá cược bóng đá anh ngôn ngữ dựa trên âm tiết để tránh vấn đề phân đoạn từ rất khó đối với tiếng Việt và do đó tránh được việc lựa chọn đặc trưng như đã chỉ ra trong phần 1). Mô tỷ lệ cá cược bóng đá anh ngôn ngữ dựa trên âm tiết nhỏ hơn mô tỷ lệ cá cược bóng đá anh ngôn ngữ dựa trên từ về mặt kích thước và nó cũng làm giảm vấn đề thưa thớt dữ liệu. Mục đích của mô tỷ lệ cá cược bóng đá anh hóa ngôn ngữ là dự đoán xác suất của các chuỗi từ tự nhiên; hay nói cách đơn giản hơn, là đặt xác suất cao cho các chuỗi từ thực sự xuất hiện (và xác suất thấp khác cho các chuỗi từ không bao giờ xuất hiện.

tỷ lệ cá cược bóng đá anh chuỗi từ w₁w₂...w_Tđược đưa ra để sử dụng làm ngữ liệu thử nghiệm, chất lượng mô tỷ lệ cá cược bóng đá anh ngôn ngữ có thể được đo lường bằng giá trị thực nghiệm (hoặc entropy).

Chúng được sử dụng để đo lường khả năng của mô tỷ lệ cá cược bóng đá anh trong việc dự đoán một chuỗi các từ. Nếu perplexity thấp, điều đó có nghĩa là mô tỷ lệ cá cược bóng đá anh dự đoán các từ trong chuỗi tốt hơn. Ngược lại, perplexity cao cho thấy mô tỷ lệ cá cược bóng đá anh khó khăn trong việc dự đoán chuỗi từ đó. Mục tiêu của mô tỷ lệ cá cược bóng đá anh hóa ngôn ngữ là để có được perplexity nhỏ.

Trong thực tế, quá trình xây dựng mô tỷ lệ cá cược bóng đá anh ngôn ngữ n-gram có thể gặp phải phân phối không đồng đều, nghĩa là khi sử dụng mô tỷ lệ cá cược bóng đá anh n-gram theo công thức "xác suất thô", phân phối không đồng đều của ngữ liệu đào tạo có thể dẫn đến ước tính không chính xác. Khi phân phối n-gram thưa thớt, các cụm n-gram không xuất hiện hoặc chỉ xuất hiện một số ít lần, thì ước tính các câu chứa cụm n-gram sẽ có kết quả thấp hơn. Giả sử S là kích thước của vốn từ vựng, chúng ta sẽ có S_ncụm n-gram được tạo từ vốn từ vựng. Tuy nhiên, trên thực tế, số lượng cụm n-gram có ý nghĩa và thường xuyên xuất hiện là nhỏ. Khi tính toán xác suất của một câu, tỷ lệ cá cược bóng đá anh nhiều trường hợp, chúng ta sẽ có các cụm n-gram chưa từng xuất hiện tỷ lệ cá cược bóng đá anh dữ liệu huấn luyện. Điều này làm cho xác suất của câu bằng 0, tỷ lệ cá cược bóng đá anh khi câu có thể hoàn toàn đúng về mặt ngữ pháp và ngữ nghĩa. Để khắc phục tình trạng này chúng ta thường sử dụng một số phương pháp làm mịn để xử lý. Có các kỹ thuật làm mịn như sau:

• Làm mịn tuyệt đối
• Làm mịn tuyến tính
• Làm mịn Good-Turing
• Làm mịn Witten-Bell

Cho đến nay, có rất nhiều kỹ thuật tiên tiến để xử lý bài toán ngôn ngữ tự nhiên, nhưng mô tỷ lệ cá cược bóng đá anh ngôn ngữ thống kê n-gram vẫn là kỹ thuật được áp dụng rộng rãi và mang lại hiệu quả cao cho bài toán này vì những ưu việt và lơi thế của nó.

TÀI LIỆU THAM KHẢO

1. Wisam Abdulazeez Qader, Musa M.Ameen, Bilal I. Ahmed. An Overview of Bag of Words;Importance, Implementation, Applications, and Challenges. Conference: 2019 International Engineering Conference (IEC). June 2019.

2. Fuchun Peng and Dale Schuurmans, Combining Naive Bayes and tỷ lệ cá cược bóng đá anh Language Models for Text Classification, ECIR 2003, LNCS 2633, pp. 335–350, 2003.

3. Maria Fernanda Caropreso, Stan Matwin, Fabrizio Sebastiani (2001). A Learner-Independent Evaluation of the Usefulness of Statistical Phrases for Automated Text Categorization, Text Databases and Document Management: Theory and Practice, Idea Group Publishing, Hershey, US, pp. 78--102

4. Fuchen Peng, Dale Schuurmans, Shaojun Wang. (2004). Augmenting Naïve Bayes Classifiers with Statistical Language Models, Information Retrieval, 7, 317-345.

5. Fuchun Peng, Xiangji Huang. Machine learning for Asian language text classification. May 2007 Journal of Documentation 63(3).