一、研究方向概述

本研究方向主要由“数字多模态符号认知分实验室”负责牵头组织，汉语史研究所、古文字与先秦文化研究中心、中华文化研究院、四川大学符号学-传媒学研究所、四川大学视像与新媒介艺术研究中心、四川省网络大数据认知分析工程实验室及四川省神经网络分析技术工程实验室等协同研究。

本研究方向以中华语言文字、中华文化多模态符号为研究对象，以“人工智能图像识别”与“生物神经认知科学”为主要研究手段，推进中国传统文化符号的谱系整理、认知与创新传承、创意传播。

实验室努力解决中国传统符号研究的三类难题：一、汉字形义演变复杂，甲骨文、敦煌文献等残片繁多且分散，手工难以缀合，造成了“符号材料破碎”；二、巴蜀符号和其它文明之间的关联尚未充分明确，“符号谱系断裂的节点”亟待修补；三、传统符号研究往往因“神经网络认知黑箱”而无法进入“心理过程”的问题应该如何突破？

围绕着“中华语言文字谱系数字化构建研究”、“中华文化多模态符号认知研究”两个大方向，实验室展开了“符号智能识别、谱系化整理、认知机制探究、创意传播应用”的闭环研究模式，实现了用“人工智能整理符号”、“生物神经认知科学理解中国符号心理机制”的路径来攻克“符号材料破碎、符号谱系证据断裂、神经网络黑箱”三类问题的系统研究。

在实践中，我们从5个方面推进了本方向的研究：

（一）中华语言文字谱系数字化构建研究

《汉语大字典》（以下称《大字典》）是新中国成立以来收录汉字最完备的一部汉语字典，是国家文化软实力的重要标志。近年来，国内学术界对于《大字典》第3版修订工作已达成共识，中国语言学会、中国文字学会、中国训诂学会相关专家一致赞成由四川大学牵头并搭建平台，凝聚国际汉学家和全国专家共同协作完成修订大业。四川大学作为责任单位申报的“重修《汉语大字典》”项目已经被列为“十四五”四川省哲学社会科学重大工程项目，目前正在申报“十四五”国家哲学社会科学重大工程项目。

“中华语言文字谱系数字化构建研究”，旨在以《汉语大字典》的成果的和平行项目的基础上，研究和设计中华语言文字的谱系，形成条理化、体系化的大型文字数据库。此外，将利用人工智能技术的最新成果，研发以汉字系统为主要对象的大型智慧语义网络，以期全方面、立体化地昭示汉字系统内部结构规则。

（二）古文字及古典文献缀合研究

甲骨文和敦煌文献研究基础是残片缀合。目前已知敦煌文献总数约为7万号，残卷（片）的比例高达90%甚至以上。本项目通过人工智能方式，进行残片缀合，并建立敦煌文献 “遗珠数据库”，建立甲骨残片在线缀合大平台、甲骨片在线数据库，可实现在线甲骨片查询与缀合。

（三）巴蜀符号谱系整理与数字人文传播

“巴蜀符号”又称“巴蜀图语”，被李学勤等学者认为是除甲骨文外唯一可确认的先秦文字。其研究对完善中华文字文化总体谱系的重要价值不言而喻。本项目将基于人工智能图像识别，建立巴蜀符号语义库、文明互鉴数据库、数字传播应用库。

（四）多模态语言符号认知神经机制研究

主要以脑科学实验方法开展包括国家通用语言、少数民族语言、上古图文符号在内的中华语言文字谱系符号的认知与传播的认知神经科学研究。以汉字为例，本研究将为汉语语音识别、文字识别等机器语言能力的提升提供来自人脑机制的参考，为汉语语言学理论的验证和发展提供来自神经语言学的实验证据。

（五）中华文化符号创新传承与产业化应用研究

本项目已初步完成周易、先秦诸子、禅宗、阳明心学的符号学思想整理，将进一步聚焦于中华传统符号学遗产发掘以及与现代数字媒体融合及产业化应用研究如聚焦于品牌和广告传播的效果认知逻辑与认知效果研究，从而探索传统符号认知机制。

二、研究特色

（一）多学科手段为汉字的研究与分析提供新的角度和方法借鉴

汉字的研究与分析是当今汉语语言学研究的重要论题，也是与心理学、社会学等语言学相关学科共同关注的重要论题。本课题以此为选题，全面利用科学计量范式，可对汉字网络系统进行深入全面的构建，并对汉字深层语义进行深度的挖掘。依托《大字典》第3版的编纂，基于现有及不断扩充的古代汉语文本，利用BERT技术计算海量文本的特性，训练汉字的智慧模型网络；并充分结合“知识图谱”技术，形成可视化、可操作的网络模型。目前国内尚未出现以汉字系统为主要对象的大型智慧语义网络，汉字网络智慧模型将有效助力于自然语言处理及人工智能技术的发展；并可期待在康复医学、病理学、生命科学等语言障碍有所助力；同时可预期将汉字的智慧模型迅速转化为IT应用产品，用于对外汉字教学的多维度推广，并推动相关文化产业的发展。

（二）多元认知与多模态符号对象研究融合对接

计算机与人工智能认知与生物神经认知协同交叉学科研究。计算机科学领域对认知的探讨则往往专注于物理层面的测量而忽视了意义维度的总体关照。本研究采用集语言学、心理学以及脑科学、计算机科学于一体的神经语言学方法，不但研究语言符号的理论，更研究语言行为的主体和语言的生物本质。通过将符号学与自然科学的研究方法相结合，二者优势互补，对符号学具体对象的探究、对神经科学的哲学理论构建和指导，均具有积极意义。

（三）中华传统文化为总体谱系化研究对象

建立一种“中华文字符号谱系的立体、动态场域视角”，推进在符号生态场域关系中呈现的中华古文字谱系，将构成中华文字符号体系的立体维度。从中华文字谱系内部来看，应加强巴蜀图语、古彝文、古纳西文、甲骨文的关系研究，它们将为中华文字谱系的整体面貌呈现提供重要依据。同时还应将眼光放得更远，从世界文字符号的总体谱系的位置中来梳理文字起源的逻辑及可能存在的文化关联性。本实验中心的推进，是包括汉字在内的中华文字符号系统可能建构起不同于西方表音体系的路径探索。

（四）中国语言文字习得与传播的认知神经科学研究

四川大学拥有全国唯一的汉语国际教育博士点，培养了多名汉语国际教育硕士、博士并派遣到世界各地的孔子学院开展中华语言文字与中华文化相关的教学工作。另外每年招收外国留学生来到四川大学学习中国语言和文化。因此，本实验室在汉语国际教育学科的基础上开展外国人学习中国语言文字和中华文化的认知神经科学研究与传播学研究具有得天独厚的优势。研究成果可以对中国语言文字和中华文化的教学和国际传播提供认知神经科学的理论依据和指导。

（五）以新商品和泛广告叙述为对象

品牌和广告效果认知是当前广告效果试验的主要内容，但本研究方向还将推进到创意传播叙述认知、以及新文旅等新商品的叙述认知研究。

三、研究方法

（一）针对《大字典》进行多学科交叉研究

在《大字典》修订项目深厚学科基础和配置科研队伍的基础上，利用OCR字体自动识别技术，扫描、训练、识别海量古汉语语料文本，通过算法设计和人工干预等环节，在“汉语大字典”最新编纂成果的基础上，充分利用已有成果（国家“十一五”时期文化发展规划重大建设项目“中华字库”工程；华东师范大学中国文字研究与应用中心开发的“中国古文字智能检索网络数据库”，等等），研究和设计中华语言文字的谱系库，并逐渐形成条理化、体系化的大型文字数据库。在此基础上充分结合BERT字向量模型与知识图谱技术，将前期研发的文字数据库转换深层语义网络，进而予以数据化计算与可视化呈现。

（二）认知神经科学研究方法在符号学、语言学与传播学领域的应用

本实验室下属的语言符号认知神经科学研究室拥有两套脑电放大器（1台NeuroScan SynAmps2 64导放大器及1台ANT Neuro 32导便携式放大器），两套眼动仪（Tobii Pro X3-120及Tobii G2），两间专业隔声室，两套E-prime行为学研究软件，以及Curry 8.0和BESA 7.1脑电分析软件。此外，可申请使用华西医院的功能磁共振成像、近红外、经颅磁/电刺激等仪器设备。利用这些前沿的脑科学相关设备软件可开展广泛的行为、眼动、以及脑成像实验，对符号、语言与传播的心理和认知神经机制进行深入研究,可极大地拓展传统符号学、语言学和传播学的研究深度和广度。

（三）人工智能方法在本课题的应用

第一，在传统符号智能识别方面的应用。自二十世纪六十年代以来，图形字符识别一直是人工智能领域的热点，例如，国外已通过相关计算机智能程序完成了对上古语言乌加特里语的全部破译工作。当然，与西方拼音表意符号体系不同，上古中华文字符号如巴蜀符号，其是介于文字与图画之间高度系统化的象形文字符号，具有更复杂的结构体系。在系统化的图形文字符号录入、存储工作完成基础上，形成大型上古文字数据库后，需同时借助人工智能方法如机器学习、专家系统等进行智能化图像文字自动识别，一方面通过横向的同种语言文字属性规律的相关性比较，另一方面从纵向形成与其他已破译的中华文化文字数据库的映射比对，以期多方向切入找到最可能的逻辑匹配与演绎规律。

第二，人工智能在商品与广告叙述效果方面的应用。人工智能推动了商品与广告形态的变革，打破了两者传统的认知边界，泛广告与泛商品化成为业界发展的一大趋势。通过利用人工智能、大数据等方法，一方面致力于构建有关商品与广告的大型图像与语音文本数据系统，深入挖掘相关文本的符码规律、体裁边界与意义内涵，从而可以较为清晰的把握市场发展的多层动态画像；另一方面，建立关于完成消费者测评的专家系统，洞察归纳消费者对于商品与广告的心理接受谱系。

四、学术价值

（一）打通信息化瓶颈，适应智能时代的智能化汉字源流

我国现有的汉字历时字库已无法满足时代需求。本课题将利用先进的信息技术手段，收集和汇总历代文献资源中出现过的汉字，从数千年流传下来的文字载体中尽可能将所有出现过的汉字形体辨析源流衍变，确定每个字形的历史地位，建立深度智能化的汉字的编码和主要字库。力争达到能对我国出土传世文献和当代文字作品进行数字化处理，全面打通信息化的发展瓶颈，使中华文明的普及与传播更加方便和高效。

（二）打造认知神经科学与符号学、语言学、传播学交叉研究的学术高地

传统的人文学科往往通过内省、资料整理、问卷等形式开展研究，而认知神经科学可以直接观察思想和智慧的生物基础即大脑内部的信息加工、储存和提取。国际上，特别是西方发达国家，认知神经科学的研究方法在符号学、语言学、传播学领域的应用已经发展出了全新的交叉学科，即“认知神经”前缀。然而中国的语言和文化与西方国家有着巨大差异。现代语言学奠基者索绪尔声明自己的结论只限于以希腊字母为原型的表音文字，并明确说明把对汉字和汉语的讨论摒除在他的普通语言学之外。因此，西方的认知神经符号学、认知神经语言学和认知神经传播学理论均不符合中国的现实。伴随着中国日益增强的经济和文化影响力，有越来越多的外国人开始学习中国的语言和文化，这使得中国需要迫切地发展自己的相关理论，从而更好地为中华文化的国际传播服务。符号学、语言学和传播学是本实验室的依托单位之一四川大学文学与新闻学院的传统优势学科，学院亦拥有双一流重点建设中国语言文学与中华文化全球传播学科群。本实验室还引入认知神经科学的专业人才团队，利用华西医院先进的脑科学究设备，力图打造为中华文化国际传播服务的交叉学科认知神经符号学、认知神经语言学和认知神经传播学的研究学术高地。

（三）创建新商品与创意传播的智能认知与传播效果的创新理论体系，为中国的商品理论与传播研究创新提供突破口

品牌与广告传播效果认知是传播效果研究的重要组成部分，本研究一直在这个领域进行探索，积累了丰富的成果和运行经验。本研究中心将在研究对象、研究视域、试验方法上进行更新，形成以包括新文创、商业环境、创意传播等新商品、新传播叙述为对方，采用符号学、叙述学为新理论视角、以效果试验、人工智能、脑科学为方法的新的研究流派。这个流派为中国学术和实践研究提供新的思路和可能性，也为国际效果认知研究提供创新思路。

五、实践意义与实际贡献

（一）数字时代中华文字谱系的文脉传承与创新理论范式

习近平总书记在庆祝中国共产党成立95周年大会上发表重要讲话中指出：“全党要坚定道路自信、理论自信、制度自信、文化自信。”并指出“文化自信”是更基础、更广泛、更深厚的自信。语言文字是文化的基础要素和鲜明标志，是文化传承、发展、繁荣的重要载体，字典辞书又是一个民族语言和文化的重要载体。早在1915年《辞源》出版时，其主编陆尔奎就在开头的《辞源说略》中指出:“一国之辞书，常与其文化相比例。”

与当代科学发展方向所表现出的复杂、交叉的趋势一样，语言符号研究在传统研究的基础上，通过不同领域或学科学者密切合作与交流推动形成了认知符号学范式，在语言学科研究中不断发展出新理论、新视角以及新观点。

（二）符号学中国学派的话语体系建设与基础理论推进

西方符号学、语言学理论主要建基于对线性表音文字的分析，而汉语作为唯一流传使用的象形文字，其所代表的“图像理据性”长期以来为学界所忽略乃至污名化。对汉字认知机制的探索，对纠正语言符号理论框架的偏颇，构建基于图像理据的中国学理论体系具有重要意义。

21世纪是脑科学的世纪，对大脑功能的研究是当代科学的前沿之一，已经得到世界各国的重视和支持。语言无论对于个人的日常生活还是对于人类文明的发展传承都具有十分重要的作用，对于人这种“意义动物”而言，对语言的讨论更涉及“人何以存在”的探讨。本研究通过科学的实证方法，考察语言习得、语言掌握、言语生成、言语理解的神经机制和心理机制，研究人脑如何接收、存储、加工和提取言语信息。就实际运用方面，本研究成果对于汉语儿童语言能力的培养，汉语语言障碍患者的治疗，以及基于人工智能的汉语语音识别和自然语言处理等都将具有十分重要的指导价值。在理论方面，本研究为意义世界构建和认识活动开展方式的理论探索，提供了坚实的理论基础。

（三）中国推动“双循环”经济发展，提升商品与广告传播效率的提供理论和实践参考

本研究方向聚焦于多模态符号的认知逻辑、认知、智能识别及其转化，是系统的理解和发掘中国传统文化，助力推动全面复习传统文化的重要途径。同时，在加快构建以国内大循环为主体、国内国际双循环相互促进的新发展格局背景下，如何推动商品经济建设，促进品牌建设，尤其是发挥中国传统文化的现代转化，推动内循环，已经变成了重中之重的论题，本研究探索商品与广告叙述认知机制的试验和研究，变成了必须推动的基础研究。