我们为了更好的做好
网页设计，更高效的完成每个项目，现在非常有必要利用人工智能来处理相应的事情。当然目前我们为自主智能体设计带来了独特的挫折。我们把一个复杂的任务交给人工智能，它会消失30秒（或30分钟），然后它会带着结果返回。我们盯着屏幕。成功了吗？是幻觉吗？它检查了合规数据库还是跳过了这一步？
我们通常会用两种极端反应来应对这种焦虑。我们要么让系统保持黑箱，隐藏一切以保持简洁，要么慌乱地提供数据倾倒，将每个日志和API调用都流向用户。这两种方法都没有直接解决为用户提供理想透明度所需的细微差别。我们需要有条理的方式来找到平衡。你怎么知道30秒工作流程中哪些特定时刻需要意图预览，哪些可以用简单的日志条目处理？
以Meridian（非真实姓名）为例，这是一家使用代理人工智能处理初次事故理赔的保险公司。用户上传车辆损坏照片和警方报告。代理人随后消失一分钟，随后带回风险评估和拟定的支付范围。最初，Meridian的界面仅显示“计算索赔状态”。用户们感到沮丧。他们提交了多份详细文件，但不确定人工智能是否审查了包含减轻情节的警方报告。黑匣子制造了不信任。为此，设计团队进行了决策节点审计。他们发现该人工智能执行了三个不同的基于概率的步骤，其中包含了许多较小的步骤：图片分析：中介将损坏照片与典型车祸场景数据库进行比较，估算维修费用。这涉及信心评分。文本审查它扫描了警方报告中影响责任的关键（如过错、天气状况、酒驾状况）。这涉及对法律地位的概率评估。保单交叉比对它将理赔详情与用户的具体保单条款进行匹配，寻找例外情况或保障限额。这也涉及概率匹配。
系统虽然耗时相同，但关于代理内部运作的明确沟通恢复了用户信心。用户明白AI正在执行其设计的复杂任务，并且如果最终评估不准确，他们能准确地将注意力集中在哪里。这一设计选择将紧张的瞬间转化为与用户的连接。
当我们把透明度当作一种风格选择而非功能性要求时，它就失败了。我们往往会先问：“界面应该是什么样子？”然后再问“代理到底在决定什么？”决策节点审计是一种简化人工智能系统理解的方法。它通过仔细绘制系统的内部流程来工作。主要目标是找到并明确界定系统停止遵循既定规则，转而基于偶然或估计做出选择的确切时刻。通过绘制该结构，创作者可以直接向系统使用者展示这些不确定点。这使系统更新从模糊的陈述转变为关于人工智能如何得出结论的具体可靠报告。
除了上述保险案例研究外，我最近还与一个团队合作，打造了一个采购代理。系统审查供应商合同并标记风险。最初，屏幕上显示一个简单的进度条：“正在审查合同。”用户们都很讨厌它。我们的研究显示，他们对缺失条款的法律影响感到焦虑。我们通过进行决策节点审计解决了这个问题。本文结尾附上了进行此次审计的逐步检查清单。我们与工程师进行了一次会议，详细说明了系统的运作方式。我们确定了“决策点”——AI必须在两个好选项之间做出选择的时刻。
在标准计算机程序中，过程很明确：如果A发生，那么B必然会发生。在人工智能系统中，这个过程往往基于偶然。AI认为A可能是最佳选择，但可能只有65%的确定性。在合同系统中，我们发现AI会将责任条款与公司规则进行核对。这很少是完美的匹配。AI必须决定90%匹配是否足够。这是一个关键的决策点。
