R中的Fasttext langue_identification返回太多参数如何与文本匹配

fastText::language_identification()的第一个参数定义为:

有效字符串到有效路径where each line represents a different text extract or a vector of text extracts(强调我的)

您的输入数据中有断点:

DF$speechtext[4]
[1] "Text in a\ndifferent language"

当您每条行获得一个预测时，您将从该元素获得两个预测.您有两个 Select :

1. 删除输入数据中的新行.这在这种情况下是有道理的.
2. 保留新行并将文档ID映射到每一行.如果新行实际上可能使用不同的语言，这是有道理的.

删除新线路

如果用空白替换新行，您将获得与输入行相同数量的预测返回.

在下面的regex中，我使用了PCRE \v，它匹配白线和任何被认为是垂直空白的字符.现在这会产生五行，一行与每个输入行相关.

language_identification(gsub("\\v", " ", DF$speechtext, perl = TRUE), file_ftz)
#    iso_lang_1   prob_1
#        <char>    <num>
# 1:         en 0.220767
# 2:         en 0.388695
# 3:         en 0.613707
# 4:         en 0.757671
# 5:         es 0.721487

\v包括几个垂直空白字符(例如表单提要和行分隔符)，因此应该涵盖所有可能的新行类型.有关完整详细信息，请参阅表here.

逐行 map 文档ID

或者，如果每个输入文档的不同行可能使用不同的语言，则您可能不想删除新行.在这种情况下，您可以单独预测每一行，然后将文档ID映射到每一行:

# As before
lang1 <- language_identification(DF$speechtext, file_ftz)

# Add document IDs
lang1$doc_id <- rep(
    DF$doc_id,
    lengths(strsplit(DF$speechtext, "\\v", perl = TRUE))
)

lang1
#    iso_lang_1   prob_1 doc_id
#        <char>    <num>  <int>
# 1:         en 0.220767      1
# 2:         en 0.388695      2
# 3:         en 0.613707      3
# 4:         en 0.932691      4
# 5:         en 0.571937      4
# 6:         es 0.721487      5