ChatGPT的场景化应用,企业应该如何应对数据挑战?

  • Posted by Kirsten Lyu
  • 2023-04-07
  • Updated 2:52 下午

2021年3月,机器学习先驱吴恩达(Andrew Ng)倡导 「以数据为中心的人工智能(DCAI)」[1]。

吴恩达解释说,”算法方面的所有进展意味着是时候在数据上花更多时间”。

两年后的3月,Open AI发布了GPT系列的最新版本,GPT-4。在这之前,该公司发布了具有开创性,且备受赞誉的产品——ChatGPT。

Open AI并没有发布太多关于GPT-4的信息,但对于当下最为热门的IAI产品之一——ChatGPT,我们可以参考以下统计数据。

模型的参数数量从1.17亿增加到1750亿,预训练的数据量从5GB增加到45TB。

根据OpenAI的说法,ChatGPT的训练数据来源相当广泛。不仅包括书籍、文章、网站,还包括大量的人类语言使用实例。正是这些教导ChatGPT如何理解和处理自然语言。

除了数据数量,数据质量也很重要,因为它决定了生成的反应的准确性和多样性。

对于大规模语言模型,其成功的关键作用之一是数据的质量和数量,这验证了吴恩达的 “以数据为中心的人工智能 “观点。

(Photo by Claudio Schwarz on Unsplash)

 

1. ChatGPT的场景化应用所面临的数据挑战

 

近日,OpenAI推出了GPT系列的最新版本,GPT-4。OpenAI在其官方网站上提到:”在公司内部的对抗性真实性评估中,GPT-4的得分比GPT-3.5高40%,相应的’不允许内容请求的倾向’降低了82%。”[2] 。

然而,根据NewsGuard(一个对互联网信息的可信度评分的网站)表示,在GPT-4上运行的最新版本ChatGPT “实际上,比其前身ChatGPT-3.5,更容易生成错误信息,且更具说服力”。

文章指出,当NewsGuard研究人员给出提示并以100个虚假故事进行测试时,ChatGPT-4对所有这些叙述都作出了100%的虚假和误导性的回应,而其前身ChatGPT-3.5仅对80%的虚假新闻作出回应。

尽管ChatGPT-3.5完全有能力生成虚假的内容,但ChatGPT-4的表现更糟糕:根据NewsGuard的数据,它的回应通常更彻底、更详尽、更有说服力,而且它们包含的免责声明也更少。

(Image source: NewsGuard)

接下来,让我们来看看ChatGPT在专业领域的表现。

尽管ChatGPT在专业和学术考试中,如STA、MBA和美国医学执照考试(USMLE)取得了显著的成绩。但要小心使用它来生成专业领域的信息。特别是用于商业用途。

针对这一状况,不少公司已经做出了选择。

一个值得注意的例子是,美国媒体网站CNET不仅使用ChatGPT为其财经栏目生成指导性文章,许多文章更是被发现有明显的错误。

StackOverflow(一个面向开发者的问答网站)已经采取行动,禁止用户提交ChatGPT生成的答案,正如该网站管理员说的那样:“因为从ChatGPT获得正确答案的平均比率太低”。[3]

此外,使用类似ChatGPT的人工智能聊天机器人可能会引起有关伦理和偏见方面的严重问题。

据FastCompany报道,通过使用基本提示测试ChatGPT为员工写绩效评估,结果是 「疯狂的性别歧视和种族主义」。[4]

对于某些工作和特征,ChatGPT在写反馈时假设了员工的性别。例如,活力十足的的接待员会被认为是女性,而异常强壮的建筑工人则被认为是男性。

(Image source: fastcompany.com)

此外,ChatGPT对一些人口统计学上的特定提示进行了反推,但它的结论是有歧义的。尤其是它没有很好地处理种族问题。

从以上的案例可见,ChatGPT/GPT-4在处理一些问题时,由于未经过有效且有针对性的数据训练,因此无法限制错误信息的传播

 

2. 如何让企业场景下的ChatGPT更精准?

 

类似ChatGPT的聊天机器人可以成为企业的左膀右臂。经过有效地部署,它们可以轻松地处理重复性任务,节省大量的时间和资源,尤其是现在我们有了像GPT3.4/GPT4这样的大语言模型的加持,让部署变得更容易实施。

但容易并不意味着有用。

即使像GPT-4那样强大的AI,在实际工作场景中也会出现一些问题,比如上文提供的案例就是很好的佐证。

因此,如果你的公司计划 「雇佣」像ChatGPT这样的聊天机器人/虚拟助理作为客服、金融分析师、人工智能助理或虚拟医生,用于服务客户,现有的类似ChatGPT的人工智能系统是远远不够的。

因为与个人使用的境况不同,如果将类似ChatGPT的聊天机器人或人工智能系统用于商业目的,是会直接影响公司的收入、声誉,以及最重要的,客户的信任。

就像GPT-3的早期经典测试,它居然向咨询者表示「自杀是一个好主意」。[5]

(Image source: https://www.nabla.com/blog/gpt-3/)

亚马逊的虚拟助理Alexa也发生过类似的案例,它告诉一个10岁的女孩用硬币去触碰一个带电的插头。[6]

我们相信,没有任何公司或组织会容忍这样的聊天机器人。

因此,如果是面向特定商业场景,利用ChatGPT等大语言模型开发产品和服务,「以数据为中心」这一基础显得尤为重要

(Photo by Jason Leung on Unsplash)

 

2.1 高质量的训练数据和标注是关键的第一步

从上文可见,由于缺乏特定商业场景下足够数量,或者高质量数据,或未经过专业有效的标注,导致ChatGPT出现准确性、道德性和偏见上的问题。

因此,对你的企业来说,更好地训练商用AI聊天机器人/智能助手,部署足够数量的高质量数据,以及专业精细的标注,不仅必要,并且迫在眉睫。抢占先机至关重要。

2.2 基于场景的人类反馈是保证数据一致性的有效方法

随着人工智能的快速发展,信息更新的速度也是日新月异。作为一名直接与客户互动,代表企业形象的聊天机器人/虚拟助理,不仅需要确保其训练数据是最新的,更要保证数据的准确和专业性。这一点非常重要。

因此,基于场景的人类反馈是必要的,可以有效地减少机器人在与客户互动时出错几率

 

3. 为什么选择马达智数?

 

综上所述,一个可靠的人工智能合作伙伴,可以高效且专业地帮助你收集、处理和标记企业的专属数据。省时省力,并确保训练数据的准确性。

马达智数,成立于2015年,是一家综合性的人工智能数据服务公司,为人工智能行业的客户提供文本、语音、图像和视频等专业数据服务。

从人工智能数据的收集、处理和标注,到高质量的人工智能数据集数据集管理,马达智数可以帮助客户有效地收集、处理和管理数据,并进行模型训练,以快速和低成本地采用部署你的人工智能技术。[9]

(Image source: https://maadaa.ai)

 

参考资料:

[1]https://www.fastcompany.com/90833017/openai-chatgpt-accuracy-gpt-4

[2]https://www.newsguardtech.com/misinformation-monitor/march-2023/

[3]https://www.scu.edu/ethics-spotlight/generative-ai-ethics/chatgpt-and-the-ethics-of-deployment-and-disclosure/
[4]https://www.fastcompany.com/90844066/chatgpt-write-performance-reviews-sexist-and-racist

[5] https://www.nabla.com/blog/gpt-3/[6]https://www.cnbc.com/2021/12/29/amazons-alexa-told-a-child-to-do-a-potentially-lethal-challenge.html 

——————————————————————————————————————————————————————

关于马达智数 maadaa.ai

马达智数面向人工智能产业链,提供文字、语音、图片、视频、音频等全类型的专业化数据服务。从人工智能数据采集,到数据处理和数据标注,以及数据管理。马达智数帮助行业人工智能产品研发客户高效地获取、加工和管理数据,并开展模型训练,助力企业快速、低成本地实现人工智能技术导入。   

继续关注我们,还有更多行业新闻

与AI数据超级干货等着你哦!

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

生成式人工智能领域已经出现了 CLIP、
近日,OpenAI的首席技术官Murat
人工智能核心的深度学习模型遵循着“Gar

+86 4006891180

contact@madacode.com