记得当年祝希龄老师给我们上情报检索语言课，用的当然是张琪玉先生的教材。这门课给我印象最深的是：情报检索语言是一种规范的人工语言，应该与自然语言区别开来。这种思想方法在近年来元数据和本体的学习中，一直让我受益匪浅。
最近在看一些本体的东西，想借鉴一下自然语言处理领域长期以来的研究成果，看着看着发现他们走不下去的一个重要原因是忽略了自然语言与人工语言的区别（他们并不是不懂，但却一定要将两者调和，或者说从自然语言中发现可以被形式化的东西），数字图书馆领域一直在搞的本体和元数据，一直想突破基于字词匹配的全文检索而达成基于概念（知识）的检索，一直在开发适用于网络和机器处理的人工语言规则，这条道路我认为是充满希望的康庄大道。
自然语言处理（NLP）的水很深，发展了很多年，规则繁复，成果众多，还跟人工智能有不小的瓜葛，特别是汉语的自然语言处理，其典型应用是机 器翻译。前一阵还跟一位网上偶遇的朋友聊起汉外自动翻译，我认为如果不局限于领域应用，普适的翻译机是开发不出来的。但是据我知道我们有不少科研机构从七 十年代开始就钻牛角尖，浪费了无数科研经费，还在做“无畏”的努力。而领域应用，实际上已经不是单纯的自然语言处理范畴了，例如我们目前积极推进的本体 （包括KOS）、元数据的应用，其目的就在于避开自然语言的弱点，而发明、构建一套人工语言和规则，达成机器对于语义的理解。在这个机器世界里，是不存在 语种差别的，任何语言都被机器理解为符号。这个目标能不能完全实现，能不能建立一套完全形式化的机器语言规则，很好地适用于某些领域，现在还不好说，可能 还有赖于我们当前的努力。
汉语的问题，曾经让汉外翻译系统的研发结结实实地摔跟头的，主要有以下一些（汉语分词问题由于引入了语境、采用穷 尽方法等，目前已经解决得相当不错，就不说了）：
1． 汉语同一词类担任多种语法成分且无形态变化；
2． 汉语句子的构造原则与短语的构造原则基本一致；
3． 汉语中的虚词；
4． 汉语的语序；
5． 汉语的书写习惯。
自然语言的机器处理有一个基本假设可能有问 题，这个假设即“语言表达的客观性假设”，即认为语言之所以能够达成交流的目的，是因为关于语言的表达 （包括语义、语法和结构）是客观的，对于客观性的认识能够使我们采用有限的形式 语法组合规则和统计规律，来“变换”、“重构”语言的表达，因此计算机也就能够“理解”“客观的”语言。然而迄今为止的研究似乎证明，语言的客观性是无法 被彻底揭示的。或者我们只能说语言有一定的客观性，但是本质上还是主观的。其客观性表现为人与人之间达成的理解“协议”，这种协议是可以随时变化的。
近 年来由于网络的发展带来语言现象的巨大变化，各种新的“火星语”“符号语”等网络语言层出不穷，老夫子们斥责这些表达不符合汉语习惯，需要规范，但毕竟 语言是活的东西，能够进行交流沟通，就一定会影响目前的语言规范。因此自然语言处理原有的套路（通过穷尽有限的规则来达到机器可处理）越来越不合时宜，应 该从哲学方法论的角度进行大规模的梳理和反省。当然，目前计算机的能力越来越强大，结合网络的发展而形成的巨大的云计算能力，可以支持越来越复杂的穷尽算 法、规则和统计规律，汉语输入法和搜索引擎的发展似乎也印证了这一点，因此如果应用得法，在一段时间内采用传统方法应该也是能够取得一定进展的，但是这种 方法应该看不到最终的解决自然语言机读化问题的希望。
前述5个问题在规范的情报检索系统（IR，或者说数字图书馆系统，或者说应用了本体和元数据 的系统）的开发中只有第一点略有相关，其余都可以绕过。因为概念体系（本体）的架构依赖于自然语言的，基本上只到单词（概念）一级（就是说概念来自于单 词，是对自然语言的规范产生的，是人为指定的概念符号），这一级（字词处理，包括分词和词性标注等）从理论到实践已基本成熟，到更宏观的句法（语法和结构）一级IR基本上与NLP开始分道扬镳了，都是采用“人工”的机器语言（RDF/XML）了，这是自然语言处理与情报检索系统两 个领域在研究对象方面最大的不同。正因为此，在领域应用方面就能够按照比较严格的规范体系来做（至于如何做又是一个大课题，如自顶向下一般是对于新建系统 可行，自底向上进行标注则不可能完全采用人工来做，就需要进行自然语言理解、模式识别或者原有结构的转换映射等方法）。其缺点可能是不够“自然”，即如果 让人直接进行阅读，人性化程度还是要差一点（就如同编程语言由机器语言向高级语言进化，但高级语言也主 要是给机器用的，如果在进行RDF/XML编码转换时能够尽可能应采用软件工具来实现，人性化程度可以高一些）。
上面一大通罗嗦，其实是想说：本体、元数据规则等，其实是（可以看成）一套人工语言规则系统，我们现在应该学习张琪玉先生当初的做法，为网络信息资源的描述和检索，提供一套形式化或半形式化的人工（规范）语言系统（概念体系）和规则，用以规范网络信息资源的管理，建立一套新的知识组织理论（和方法论）体系。或可叫做“元数据方法”或“本体方法”。目前计算语言学研究，就是要从自然语言中发现可被形式化的规则（可以理解为这部分内容只是语言现象的一部分，不可能找到所有的规则，否则就不是“自然”语言了），并对这部分 内容进行“机读化”。从这个角度思考，人工语言应该比对于传统的纯自然语言的形式化处理更为简单，从机器翻译等领域对于语言形式化的研究成果中应该可以找 到大量丰富的养料。
例如以下“计算机语言处理模式”的抽象思考就很有启发：
1、 处理对象（输入）为有限种符号的有限长序列。其中包括如何编码、如何形式化的一整套规则。
2、处理方式（运算）为有限的程序变换。早期采用 简单模式匹配法，后来（至今）采用基于规则的处理方法，近年来流行基于语料库的统计方法。
3、处理结果（输出）为符合新规则的表达 式。
计算语言学研究对象有点像现在的网络世界，在其中寻找规律，或者规范表达（通过语法、 惯用法等），有点像营造一个语义网，只不过网络世界使得人们有了一个工具进行规范（因为有一个前提是：必须机读），而自然语言因为无法规范，才具有无限的 创造力和想象力。上帝的归上帝，凯撒的归凯撒，整个世界才能和谐有序，语言问题的处理才能找到终极方案。
———————————无聊的分 隔符：搞研究是最无聊的——————————
附：以前收集的一个有关机器翻译困境的帖子：
发信人: chris (亦云), 信区: LanguageLogic
标 题: 机器翻译难在哪里
发信站: BBS 曙光站 (Thu Apr 8 14:08:34 1999)
机器翻译难在哪里
做这么多年的机器翻译，感到最大的意外是翻译竟然要调用如 此之深之广之
多层次的知识，而且各个层次的知识彼此如此强烈相关，剪不断，理还乱。
首先，翻译需要彻底的源自然 语言理解以及纯熟的目标自然语言运用，决
不是很多人以为的有一本英汉词典，记住所有英语词法句法规则就可以的。
而深层的自然语言理解则不 得不触及到人类生活的各个层面各个角落，而
且需要浩瀚的背景知识（国外已经有人在谈论语言是知识的海洋）。有的
知识和语种有关，如汉语世 界谈及黄色新闻则会想到“色情”，英语世界
则认为黄色新闻是“那种危言耸听，追求轰动效应的新闻”；有的知识和
语种无关，如：孔子是中国 春秋战国时代的思想家、教育家；乔丹是芝加
哥公牛队的篮球球星；克林顿和莱温斯基有某种关系；邓小平已经去世……
翻 译界常常讨论翻译人员不仅要熟习两种语言，而且要熟知两种文化的差异。
但对计算机来讲，还有大量对人来说不讲自明的知识，如“苹果不能吃人，
只 有人可以吃苹果”；“冬天比夏天冷”；“擀面杖和做饺子有关”这样的
知识。其中绝大部分知识都不是老师教的或书本上讲的，而是我们从小长到
大 所见所闻所感所悟，从具体的到抽象的，从星星点点的到连成体系的。我
们在翻译时不知不觉（偷偷摸摸）调用了这些知识，计算机当然自叹弗如。
请 看：
A. 1979年以前，中国大部分老百姓还没有解决温饱问题。
B. 2500年以前，中国出了一个教育家孔子。
为什 么前者理解为“公元1979年以前”，而后者是“距今2500年以前的那一年”？
常识告诉我们孔老二早已作古。
I can see Peking University tower on the mountain.
为什么翻译成“我在山上能看见北京大学的水塔”而不 是“我能看见山上的
北大水塔”？
去过北大未名湖区的人都知道水塔并不在山上。
妻子晚餐还做了两个丈夫喜欢吃的菜。
为 什么不能理解为“两个丈夫”而是“两个菜”？
在我们这个一夫一妻制的国家里一个妻子不可能有两个丈夫。
演员谢幕时，不要坐着不鼓 掌。
为什么“不要坐着不鼓掌”的主体是观众，不是演员？而“演员谢幕时，不要
站着不鞠躬。”主体是演员？常识告知。
政府 发给她一次性生活补贴。
为什么是“一次性 生活补贴”而不是“一次 性生活 补贴”？常识嘛！性
生活怎么会发给补贴？
等 等，等等。
于是我们也就理解了为什么计算机不能向人那样翻译，它根本不是人类社会生活
的一员嘛！
语音上也能提示 一些消解歧义的信息。当一个老人说“孙子每天教我一点计算机。”
我们知道他不是指战国时代的军事家孙子。因为他读为”sun1 zi4″,而不是”sun1
zi3″。 “1979年以前”读成“一九七九年以前”则很可能是公元1979年；若读
成“一千九百七十九 年以前”则疑为“1979 years ago”。
语言生活在语境里，正如人生活在社会里一样。即使是孤立的一句话，人也是要
给 它造语境，使它有生命。“他今天没有喝酒。”言外之意，他一定经常喝酒。
“在学校一定要听老师的话。”一定是爸爸妈妈送小孩上学时叮嘱的话。英语 也
是一样，“Mr. Smith was a great man.” 言外之意，要么史密斯先生已经去世，
要么他曾经是个伟人，但现在 不是了。
众所周知的信息，我们就不必说了；许多默认的你知我知的知识（公共知识）也不
用显性地字面上表达出来，只有那些新的，不 那么明显的信息，才需要使用语言澄
清。当代世界，语言是用来交流信息的。人们讲究的是语言的时效性，而不是
规范性。在公共汽车里，我们拿 着钱递给售票员说“三个天安门”（”Three tickets
for Tiananmen” rather “Three Tiananmens”）。告诉售票员两个新的信息，(1)
买三张票，（2）目的地是天安门。机器翻译必须把隐性（unsaid）的信息，提升
到 字面上说出来。
因此，我认为，之所以机器翻译如此之难，是因为它涉及到诸多层次知识的调用。
语言是一个多层次交织的系统，这些层 次包括：语法，语义，语境，语音，常识，
专业知识，以及场景和文化背景知识……如果说靠乔姆斯基式的句法知识能够解
决（汉语）40%（这 个数是瞎写的）问题；概念性的知识能够再解决到60%的问题；
剩下的就都是语用知识。因此，机器翻译无法突破, say, 60%，而突破不了60%的
机器翻译是没有什么实用价值的。
出路何在？或许我们应该把大百科全书都输入到计算机里？或许知识的获 取要靠
机器和人，机器和机器，机器和环境相互交流来获得？或许计算机的世界和人类
的世界根本就是两个世界，别指望机器能理解人类社会?
Tags:
元数据,
张琪玉,
本体,
祝希龄,
自然语言处理
Related posts
