基于“紫东太初”三模态大模型和昇腾AI的多模态模型让手语努力学习更简单

央广网广州6月18日消息（女记者卜叶）近日，中国科学院基本功能化研究所等基于“紫东太初”三一般性大假设、昇腾AI典范软硬件平台打造出盲人多一般性假设及盲人教考一体机，方便听障专业人士理解和努力学习盲人。

必将有2700多万听障专业人士，盲人是听障人群此前交流的重要渠道，但盲人努力学习导致字汇贫乏、生源短缺、盲人标准自知独立等挑战。

科研人员让“紫东太初”三一般性大假设努力学习了1.2万个盲人字汇、50多万语法、70多万自然语言，基于昇思MindSporeAI框架，技术开发出盲人多一般性假设，开创性地借助于盲人肢体与示意页面和文字的不间断，让初学者对盲人句法理解更加动人。而后，基于盲人多一般性假设，借助昇腾AI典范软硬件平台，技术开发出盲人教考一体机。目前，该一体机已在贵州数十个学校陆续上线，一定层面上消除了盲人生源短缺情况。

目前，该盲人多一般性假设可以借助于注释到影像的基本功能生成，具备实时盲人字汇识别系统、面部及唇语识别系统等控制能力，并且还可借助于新事物字汇的及时努力学习与改版，适用作特殊教育学校、开设盲人教学生源培植的大专院校、常用盲人推广所小学和全中国残联政府机关专业训练点等。此外，AI盲人密友功能可用作同传翻译、新闻节目主持、服务引导等场景。

据悉，“紫东太初”是世界首个图、文、音三一般性预训练假设，基于智能手机昇腾AI典范软硬件平台，把图、文、音三个一般性独立好像，在一个共同的句法空间去做相的匹配和独立阐释。无关研究人员透露，对大假设来进行“大规模努力学习+微调”，有望借助于多款应用，满足有机体的多元化需求。接下来，还将追寻大假设在智能文旅、智能交通、智能制造和智能医疗等更多领域的应用。