近日，智言科技AI团队刷新CommonsenseQA数据集世界排名，以超出第二名3个百分点的成绩位列榜单第一。该榜单参与团队包括微软亚洲研究院、阿里达摩院、FacebookAI、CMU等。以常识性问答为应用是 NLP 最重要的前进方向之一，其目的是帮助计算机通过已有的知识来推理判断未见过的输入信息，从而使计算机更理解人的意思。
CommonsenseQA任务由以色列特拉维夫大学建立，是一个新的多项选择题答案数据集，它需要不同类型的常识知识来预测正确的答案，是极具有挑战性的数据集。数据集中的12102个问题，包含一个正确答案和四个干扰因素答案，测试结果每两周评估一次。目前排名第一的智言科技团队获得76.5%的准确性，在排名中超越第二名3个百分点，在NLP领域中已是很大的进步和超越，但是仍低于人类88.9%的水平，可见NLP在常识性推理方向仍有很大挑战和进步空间。
CommonsenseQA LeaderBoard，智言科技目前排名第一
当人类回答问题时，他们会依据常识、背景知识、空间关系、原因、结果、科学事实和社会惯例等，来判断问题答案。例如，提出了一个问题：“当李蒙听到割草机的声音时，他在哪里?”可以推断割草机靠近李蒙时，同时可能在户外并位于街道上。这种知识对人类而言似乎微不足道，但是仍然超出了当前的自然语言理解(NLU)系统。
当前阅读理解模型主要所关注的问题类型是事实类问题(factoid questions)，这类型的问题答案往往能直接在原文中找到，然而如何基于常识和背景知识进行推理以获得答案仍旧是一个巨大的挑战。数据集 CommonsenseQA、CosmosQA 等相继被提出便是为了促进该方向的发展。在这些数据集中，机器需要结合常识知识来回答诸如“我可以站在河上的什么地方看水流而不会弄湿自己?”这样的问题，因此更具挑战性。
如果想人工智能要更好地服务于人类、更多地介入人类的日常生活，人工智能机器人就需要理解人类自然语言的意义，提前学习、掌握常识并据此进行推理。大家已经充分地认识到：人工智能的下一步发展和实用化，必须突破语义理解和常识推理这一瓶颈。我们认为语义理解和常识推理研究的进展，依赖于全新的自然语言处理技术和理念。
在商业化应用当中，人工智能带来的首先应该是商业模式上的转变，然后是运用的效率转变。智言科技的AI团队始终专注于自然语言处理领域的技术突破，同时将知识图谱融入其中，帮助传统企业进行数字化转型。基于多个垂直行业的大量对话应用场景，智言科技在自然语言理解、意图识别及逻辑推理等技术上取得了较好的效果。
对于企业员工来说，客户所提出的问题相似度很高，使得工作重复繁琐，这部分工作已经实现人工智能技术的部分替代性，有效提高工作效率，降低企业运营成本。除此之外，在常规问答中，为了提高机器人的问答能力边界，以知识图谱形式应用的非结构化数据、对话的数据不断累积，从而优化语料库、提高准确率。这些数据也是企业未来数字化转型的新燃料。
智言科技构建非结构化文档形成为知识图谱
人工智能势必将对人们的工作产生深刻影响，因此建立新的内部业务模式流程变得前所未有的紧迫。一些领先的企业认识到，人工智能将对业务模式、员工结果及客户和员工期望获得的体验产生重大影响。智言科技AI团队对于自然语言处理技术以及知识图谱技术在不断地探索和研发。智言科技也希望通过搜索、推荐、语音及语义识别等人工智能算法，能够满足业务量快速增长的目标，助力企业完成在新的业务模式和传统系统之间的平稳过渡。