Python Tensorflow tokenizer问题.num_words到底做了什么

当您在Tokenizer构造函数中设置num_words = MAX_WORDS_REQ时，意味着Tokenizer将只保留词汇表中MAX_WORDS_REQ最频繁的单词.然而，实际词汇表大小可以小于或大于MAX_WORDS_REQ，这取决于输入数据中存在的唯一单词(x_data).

关于您的具体问题:

1. num_words的目的是根据词频限制词汇表中保留的最大字数.它通过关注最频繁的单词来帮助减少输入数据的维度.

2. 输出的数字11937代表输入数据中唯一单词的总数(x_data).这意味着你的文本语料库中有11937个不同的单词.

3. 要将词汇表的大小限制在特定的数字，可以在Tokenizer构造函数中使用num_words参数，就像使用MAX_WORDS_REQ = 10000时所做的那样.但是，如果输入数据中唯一单词的实际数量小于MAX_WORDS_REQ，词汇表大小将等于唯一单词的数量.

如果要将词汇表的大小严格限制为MAX_WORDS_REQ(例如，10000)，您可以修改代码如下:

MAX_WORDS_COUNT = 10000
WIN_SIZE = 1000
WIN_HOP = 100

tokenizer = Tokenizer(num_words=MAX_WORDS_COUNT, filters='!"#$%&()*+,-–—./…:;<=>?@[\\]^_`{|}~«»\t\n\xa0\ufeff',
                  lower=True, split=' ', oov_token='unkown_word', char_level=False)

tokenizer.fit_on_texts(x_data)

top_words = dict(list(tokenizer.word_index.items())[:MAX_WORDS_COUNT])
print(len(top_words))

在这个修改后的代码中，在输入数据上拟合标记器之后，我们使用list(tokenizer. word_index. items())[:MAX_WORDS_REQ]从word_index字典中提取顶部MAX_WORDS_REQ单词.这确保了我们的词汇表中最多有MAX_WORDS_EXAMPLE单词.

Print(len(Top_Words))的输出现在将被限制为MAX_WORDS_COUNT(在本例中为10000)或更少，具体取决于输入数据中唯一字的实际数量.

我希望这能澄清你的问题！