91高清免费观看_亚洲高清视频免费观看_91视频综合_国产精品一区99_伊人手机视频_懂色av懂色aⅴ精彩av

有趣生活

当前位置:首页>知识>nlp常用文本处理模型 基于Markov的拼音汉字转换方法

nlp常用文本处理模型 基于Markov的拼音汉字转换方法

发布时间:2024-01-22阅读(4)

导读通常情况下,我们在做语音识别的时候,一般是以下的一个流程:这里最主要的是依靠两个模型:声学模型和语言模型,声学模型接收我们说话的音频,输出的结果为拼音,而从....

通常情况下,我们在做语音识别的时候,一般是以下的一个流程:

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(1)

这里最主要的是依靠两个模型:声学模型和语言模型,声学模型接收我们说话的音频,输出的结果为拼音,而从拼音转换到文字,这个就需要语言模型来进行操作。也就是这一篇文章的核心,基于马尔可夫的拼音文字转换方法。

一:拼音到文字的Markov模型推导

Markov模型的特点是某一状态的发生概率仅其以前的状态有关,而和其他状态无关

,这一点在语言学中称为左语境约束,左语境约束这一点很好理解,因为我们的文字读写习惯都是从左到右,因此你现在读到的文字语境会受到你刚刚读到的文字的约束。

前提假设:

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(2)

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(3)

综上所述:可以通过下边的图片来解释这个流程,其中方块表示输入的拼音,圆形表示同音字,箭头表示对外转移概率(没有箭头表示转移概率为0)

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(4)

二:动态规划的算法求解

包括最大似然估计,很多方法都可以解决寻找路径的问题。需要通过对观察到的数据来进行概率判断下一时刻最可能的状态,从拼音到汉字的转换过程可以看做是在一个有向图中,求解概率最大路径的问题。可以用维特比(Viterb)算法:

假设:我们观察到的是拼音:

但是观测序列中序列排序很复杂,比如wo可能有三种可能:喔、我、沃,如下图所示:

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(5)

现在变成了最大概率问题,把概率最大的理解为路径最短,转换为了求解最短路径问题

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(6)

算法求解:

1:A->B

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(7)

2:A->B->C

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(8)

3:A->B->C->D

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(9)

4:A->B->C->D->E

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(10)

最终就得到了A->E的最短路径A->B1->C2->D2->E1,至此,找到了wo ai zhong guo对应的概率最大的中文汉字组合为:我爱中国。

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(11)

三:系统结构

参考https://github.com/letiantian/Pinyin2Hanzi项目代码。罗列系统结构:

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(12)

用户输入拼音串后,会学习语料库,然后通过维特比算法去求解最大解,,并

将形成最大值的状态串接起来作为输出 。

四:实验结果

nlp常用文本处理模型 基于Markov的拼音汉字转换方法(13)

代码学习部分放在下一篇

五:参考文章

1:基于词词同现概率的拼音汉字自动转换方法。马少平老师

2:如何通俗地讲解 viterbi 算法?

https://www.zhihu.com/question/2013

欢迎分享转载→http://www.umpkq.cn/read-80886.html

Copyright ? 2024 有趣生活 All Rights Reserve吉ICP备19000289号-5 TXT地图

主站蜘蛛池模板: 97精品在线视频 | 97日日| 精品乱码一区内射人妻无码 | 亚洲午夜视频在线观看 | 成年女人18级毛片毛片免费 | 亚洲精品视频免费观看 | 全部免费的毛片视频观看 | 亚洲国产精品日韩av不卡在线 | 久久黄色免费视频 | 欧美高清视频www夜色资源网 | 四虎影院在线 | 衣服被扒开强摸双乳18禁网站 | 在线免费观看国产精品 | 四虎影视在线观看 | 亚洲精品第一国产综合精品 | 久久不见久久见免费视频7 久久不见久久见免费影院 久久不见久久见免费影院www | www爱射网站avcom | 一道精品视频一区二区三区图片 | 国产成人无码精品久久久免费 | 日本边添边摸边做边爱喷水 | 国产乱人伦偷精品视频 | 美女扒开屁股让男人捅 | 日本一级毛片中文字幕 | 天天噜噜日日噜噜久久综合网 | 秋霞免费一级毛片 | 影音先锋2020色资源网 | 国产一级毛片外aaaa | 日韩一区二区三区四区区区 | 日韩视频一区 | 久久精品国产四虎 | 色综合图片 | 一个人看的www日本视频 | 亚洲国产美女精品久久 | 伊人伊狠亚洲综合影院 | 99久久精品免费视频 | 午夜欧美成人久久久久久 | 色噜噜狠狠色综合久夜色撩人 | 99re在线视频免费观看 | 国产麻豆精品久久一二三 | 浮妇高潮喷白浆视频 | 亚洲精品区在线播放一区二区 |