在ChatGPT推出之后，生成式人工智能模型的迅速采用有望从根本上改变企业开展业务以及与客户和供应商互动的方式。
生成式人工智能可以支持广泛的业务需求，例如编写营销内容、改善客户服务、生成软件应用程序源代码和生成业务报告。生成式人工智能工具的诸多好处鼓励企业和个人在工作中测试这些工具的能力，尤其在降低成本、提高工作速度和质量方面。
然而，与任何新兴技术一样，快速实施可能存在风险，为威胁行为者利用企业的漏洞打开了大门。在当今复杂的IT威胁环境中，未经仔细考虑就使用生成人工智能工具可能会给企业带来灾难性的后果。
与在企业环境中使用生成人工智能相关的安全风险
了解在企业环境中使用生成式人工智能的潜在风险对于从这项技术中受益，同时保持合规性和避免安全漏洞至关重要。在规划生成式人工智能部署时，需要牢记以下风险。
(1)员工泄露敏感工作信息
在企业环境中，用户应该谨慎对待他们与他人分享的任何数据，包括ChatGPT和其他人工智能聊天机器人。
最近最引人注目的事件是三星公司员工将敏感信息与ChatGPT共享而导致的数据泄露。三星的工程师将机密源代码上传到ChatGPT模型，此外还使用该服务创建会议记录和汇总包含敏感工作相关信息的商业报告。
三星公司发生的数据泄露案例只是向人工智能聊天机器人泄露敏感信息的一个广为人知的例子。许多其他使用生成式人工智能工具的公司和员工可能会因泄露敏感工作信息而犯类似的错误，例如内部代码、版权材料、商业秘密、个人身份信息(PII)和机密商业信息。
OpenAI公司对ChatGPT的标准政策是保留用户记录30天，以监控可能的滥用，即使用户选择关闭聊天记录。对于将ChatGPT集成到其业务流程中的公司来说，这意味着员工的ChatGPT帐户可能包含敏感信息。因此，成功入侵员工ChatGPT账户的威胁行为者可能会访问这些用户查询和人工智能响应中包含的任何敏感数据。
(2)人工智能工具中的安全漏洞
与任何其他软件一样，生成式人工智能工具本身也可能存在漏洞，使企业面临网络威胁。
例如，今年3月，OpenAI公司将ChatGPT下线，以修复聊天机器人开源库中的一个漏洞，该漏洞使一些用户能够从另一个活跃用户的聊天历史中看到聊天标题。如果两个用户在同一时间处于活动状态，也可以在其他人的聊天记录中看到新创建对话的第一条消息。
此外，同样的漏洞还泄露了在特定时间段内活跃的1.2%的ChatGPTPlus用户的支付相关信息，包括客户的姓名、电子邮件地址和信用卡号码的最后四位数字。在最近的另一起安全事件中，网络情报机构Group-IB公司发现，超过10万个被入侵的ChatGPT账户在暗网市场上出售。
(3)数据中毒和盗窃
生成式人工智能工具必须提供大量数据才能正常工作。这些培训数据来自各种来源，其中许多在互联网上是公开的，在某些情况下，可能包括企业以前与客户的互动。
在数据中毒攻击中，威胁参与者可以操纵人工智能模型开发的预训练阶段。通过向训练数据集中注入恶意信息，网络攻击者可以影响模型的预测行为，从而导致错误或其他有害的响应。
另一个与数据相关的风险涉及威胁行为者窃取用于训练生成式人工智能模型的数据集。如果没有对数据访问进行足够的加密和控制，模型训练数据中包含的任何敏感信息都可能被获取数据集的攻击者看到。
(4)违反合规义务
在企业环境中使用人工智能聊天机器人时，IT领导者应评估以下与违反相关法规相关的风险:
不正确的响应。人工智能工具有时会给出错误或肤浅的答案。使顾客接触到误导性的信息，除了对企业的声誉产生负面影响外，还可能引起法律责任。
数据泄漏。员工可以在与人工智能聊天机器人的对话中分享敏感的工作信息，包括客户的个人身份信息或受保护的健康信息(PHI)。这反过来又可能违反GDPR、PCIDSS和HIPAA等监管标准，面临罚款和法律诉讼的风险。
偏见。人工智能模型的反应有时会表现出基于种族、性别或其他受保护特征的偏见，这可能违反反歧视法。
违反知识产权和版权法。人工智能驱动的工具是在大量数据上进行训练的，通常无法准确地为它们的反应提供特定的来源。其中一些训练数据可能包括受版权保护的材料，如书籍、杂志和学术期刊。在没有引用的情况下使用基于版权作品的人工智能输出可能会使企业受到法律罚款。
关于聊天机器人使用的法律。许多企业已经开始将ChatGPT和其他生成式人工智能工具集成到他们的应用程序中，有些企业使用人工智能聊天机器人来立即回答客户的询问。但在不提前告知客户的情况下这样做，可能会受到加州机器人信息披露法等法规的处罚。
数据隐私。一些企业可能希望开发自己的生成式人工智能模型，这一过程可能涉及收集大量训练数据。如果威胁行为者成功破坏企业IT基础设施并获得对培训数据的未经授权访问，则泄露受损数据集中包含的敏感信息可能违反数据隐私法。
除了安全性，生成式人工智能还带来了算法偏差、幻觉和技术复杂性等挑战。
