自然语言处理与文本挖掘(2)——乔姆斯基的形式语法

基于以下语料建立语言模型

研究生物很有意思
他大学时代是研究生物的
生物专业是他的首选目标
他是研究生

1）以“字”作为基元计算出现句子“他是研究生物的”的概率
2）以“词”作为基元分别计算出现句子“他 是 研究 生物 的”和“他 是 研究生 物 的”的概率
注意2）中用空格标识的不同分词方法，如果出现概率为0的情况，请使用适当的平滑方法处理