构建数智时代大语言观

　　“词元”（token），无疑是近期的超级热词。“词元工厂”“词元经济”“词元资本”“词元投资”“词元理财”“词元超市”“词元出海”“词元安全”“词元时代”等新词语层出不穷。这种新生事物的出现及其译名的确定，不仅在科技领域和产业界产生了巨大影响，也给语言领域带来了挑战、启示和新机。相关问题不只是单纯的语言话题，而是关涉经济社会发展的重大现实课题，亟待深入研究，助力相关事业发展。

词元带来的挑战

　　词元的定义不尽相同。作为新生事物的词元，在人工智能领域一般指大语言模型对信息载体进行切分而产生的基本结构单元。它本质上具有三重属性：基本运作单元、最小符号单元、最小信息单元，被喻为“信息原子”“机器语言积木”。对词元的功能和价值的主要看法是：联通人类语言与机器语言的桥梁，连接算力、数据、模型、应用与商业价值的关键媒介和结算单位，数字石油、数字电力、新兴经济的引擎，数智时代的新型全球货币等。概而言之，词元是数智时代人类生存发展的重要资源。

　　作为词语的token，是个多义词，全国科学技术名词审定委员会将其中文译名定为“词元”，客观上给词元这个本来由异质符号构成的新生事物作出了定性，这显然挑战了现有的语言理论。因为“词元”所指并非全是语言成分，其命名突破了语言的边界，改变了语言符号体系和结构单位，也模糊了语言与文字的区别。

　　然而，词元译名带来的客观效应不可小觑。从战略层面看，它以中文命名逻辑来定义前沿科技关键概念，有利于培育中文科技概念体系，提升科技话语权。从语言学及相关领域实务看，词元所指对象虽然包含语素、单词、短语、文字、标点、特殊符号，以及音频片段、图像块等异质成分，但词元的定名，则揭示了它们都是“基本离散符号单元”的内在共性，归为一统，便于多模态信息载体的统一处理和计量，具有多方面的效用。词元客观上成为联通人类语言和机器语言的桥梁，这不仅解决了机器信息处理的工程问题，催生了词元经济的兴起，而且或可发挥构建机器语言体系、融通人类语言和机器语言的基石作用。

　　突破往往是创新的发端。面对词元这一深刻影响科技发展、产业变革和人类生活的新生事物，我们必须正视事实，因应发展，重新审视语言，深入挖掘其潜能和价值，更好地发挥其社会作用。

　　除了命名的突破之外，词元在其他方面也对语言和现行语言学理论有所突破。一个显著事实是，计算机和网络的发明使语言有了新的表现形式——“数码”，并被再赋能，成为数字世界最重要的信息工具；语言的表达、接受、存储、处理、传输等方式发生了变化；语言本体也在变。大语言模型的发明又改变了语言生态，增添了语言主体，智能机器也会说话了，并正在通过具身智能体让机器以言行事。机器语言主体、机器语言、机器言语行为、机器话语及作品等，事实上已成为“语言”范畴的要素和角色。这些都是现行语言理论不能涵盖、无法解释，而又难以回避的客观现实问题。辛顿对乔姆斯基语言习得机制先天论的尖锐批评虽然需要进一步讨论，但无疑表明，现行语言学理论确实存在令人困惑的问题。这些都在倒逼我们重新认识语言，回答现实问题。

对语言的再认识

　　词元所指对象虽然包含非语言成分，但深入观察可发现，它们与语言成分具有一个本质共性——信息性。这既是词元概念内在统一性和符号功能一致性的深层依据，也为在新的语言生活背景中重新定义语言、推动语言学开拓发展提供了客观基础和思路启发。可以说，词元译名具有“创造性破坏效应”。

　　关于语言性质和功能的看法不尽相同，但作为人类对世界认知的信息结晶和最重要的信息工具，语言最为核心的性质当是信息性。它的其他属性和功能大都因其信息性而衍生，或是其信息性的不同体现。

　　放眼来看，信息性是人类语言、机器语言和其他生物体语言的显著共性和底层纽带。控制论奠基人维纳早就指出：“语言不是生命体所独具的属性，而是生命体和人造机器在一定程度上可以共有的东西。”信息论奠基人香农认为，信息论不仅适应于计算机语言，而且适应于自然语言。这些也为基于信息性理解语言、定义语言，并构建大语言观提供了科学依据。

　　机器语言的性质、机器语言与人类语言的密切联系和机器对人类语言的融通使用表明，机器语言与人类语言具有强相关性。这也为语言概念重构奠定了事实基础。

　　其他学科，如认知科学、生物学、动物语言学、多模态语言工程等领域的研究进展，也为构建统摄人类语言、机器语言乃至其他生物语言为一体的体用相统一的“大语言”体系提供了佐证。

　　大语言模型对词元的成功运作，为反思过去的语言研究方法，深化对语言生成机制、结构规律和使用规则的认识带来了重要启示。例如，大语言模型主要依靠词元的组配规律运算，就能成功使用语言。这表明信息符号的组合概率体现了一定符号形式与一定信息内容的契合性，也揭示出语言的有效意义取决于词语的概念意义与语境动态意义的结合这一重要规律。反之，大语言模型的局限性也折射出它在语境动态意义的感知、把握及语用推理上的短板。以上正反事实表明，语义是语言的核心，形式与语义的正确匹配和词语语义关系的正确联结是语言生成和理解的关键。这些都从本体论、认识论和方法论的角度为反思过去的语言研究、重新认识语言提供了重要启示。

　　现实表明，对语言的再认识，不仅是走出语言理论困局的需要，而且是解决科技创新和经济社会发展中现实语言问题的必需。

新机遇与新路径

　　大语言模型及相关科技发展在给语言领域带来巨大挑战的同时，也为其带来新机遇。《教育发展“十五五”规划》《关于加强数字中文建设 推进语言文字信息化发展的意见》等国家文件对语言文字事业发展提出了新要求，迫切需要语言领域抢抓机遇、勇于变革，树立大语言观，发展大语言学，建设大语言事业，提供大语言服务，为经济社会发展和人类文明进步作出更大贡献。

　　第一，化挑战为动力，推进基础理论创新。一是语言再定义。开展以“信息性”为核心的不同性质“语言”的整合研究，构建人类语言、机器语言及其他语言为一体的体用相统一的大语言体系。笔者的初步认识是：语言是生物体和智能机器用于交流信息的方式及其表征手段构成的多要素协同的复合性媒介系统。这个定义涵盖不同来源、不同主体、不同功能、不同形式的语言，有利于在更广阔的视野下深刻认识各类语言问题，推进语言领域创新发展，解决相关理论困惑和实践问题，也可为数字世界的语言系统构建和自然语言处理技术优化，以及其他学科领域创新提供帮助。二是语言能力概念重构。现行语言能力说基于人的语言且仅指人的语言能力。而机器语言的产生和人机交互的常态化，需要统筹和发展人的语言能力、机器语言能力以及人机言语交际能力。这是数智时代新型语言能力三要素，亟待开展理论建构和实践培育。三是语言规律再审视。大语言模型获得语言知识和能力的方式、使用语言的方式和效果，颠覆了对语言的既有认识，需要研究和利用，以反观语言、优化机器语言应用。对于辛顿和乔姆斯基的争论，不应只看到对立，更应关注其潜在的殊途同归和启发性。其实，他们所代表的是技术主义和理性主义两条路线，不足以也不应该相互否定。尝试综合运用两条路线来探索语言规律，或许是康庄大道。

　　第二，建设数字语言资源，为数字世界筑基。数字世界的核心价值依托是数字资源，这就犹如物理世界的自然资源一般重要。因此，必须筑牢数字资源基础。国家大力推动的数字中文建设，就是要把中文承载的现实世界的所有文明成果搬进数字世界，以“实现中国语言文字和中华文化在数字世界占有应有的份额和地位，全方位释放中文信息的功能和价值，以充分满足我国发展需求和世界相关需求，推进人类文明创新发展”。打造全口径、大规模、多模态、高质量的数字中文资源高地（包括国家通用语言文字、各民族语言文字、方言、手语盲文、机器语言，乃至必要的外语等资源），是时代赋予语言领域的重大使命，特别需要推进语言资源向语言数据和语言知识转化，促进语言信息资源的智能化高效利用。其中，研制数智化语义网络、语义地图、知识图谱、知识库、知识建模等，都是现实急需。

　　第三，回应重大语言需求，助力人工智能技术创新及应用落地。大模型“缺心”“幻觉”带来的安全隐患引发社会担忧。一批中国科学家力主“为机器立心、铸魂、增智”的人文路径，致力于发展可解释、更智慧且与人类价值对齐的人工智能。这就需要语言学发挥学科优势，在智能机器底层逻辑优化、价值体系构建、认知框架和语用推理设计、语言智能与物理智能及心智智能有效贯通等方面，与相关专家协力攻关。同时，人工智能技术应用落地也需要语言学加持，尤其在语言数据及其产业、大语言模型垂直领域应用、智能体和具身智能的语用设计及应用、人机会话的优化、词元生产和使用提质增效策略等方面发挥语言学之力。

　　第四，开拓数字世界语言研究，促进人类文明新形态建设。放眼以大模型和互联网为代表的数字世界全域，可以“词元”为切入口，统观人的语言和机器语言，开展机器语言系统、机器言语行为、机器语言能力研究，助力相关技术创新；研究数字世界的语言生态、语言生活，尤其注重人机会话及人机协同研究，以提升人的数智化生存能力；研究机器写作、机器知识生产方式及规律，探索人机协同知识生产、共创文明的新范式新形态；研究数字世界语言生活特点、规律及治理方略，维护数字世界语言生活健康和语言生态良性发展。

　　第五，建设大语言文字事业，服务现代社会发展。数智化语言生活和社会发展呼唤大语言文字事业支撑。应对大语言模型对人类语言能力的挑战，需要在人的基本语言能力层面“挖潜提能”，同时培养善于与机器交流的能力、甄别和利用机器语言信息的能力等。我们还需更新语言人才培养理念和目标，改革培养模式，大力推进跨学科复合型语言人才尤其是语言智能等语言科技人才培养。此外，数智化社会建设迫切需要打造数智化、全天候、广口径、响应快的社会语言服务体系，不断增强服务效能和普惠性，切实消弭“数字鸿沟”，实现语言服务无盲区。

　　（作者：赵世举，系江苏师范大学/武汉大学教授）