这可能是让一众数据分析师们头大的消息。


【资料图】

日前,有网友分享,称阿里达摩院最近贴出来一个研究报告,关于用 GPT4取代数据分析师的成本核算。

他直接把报告里的结论列了出来:

「除了所有数据分析师和GPT-4之间的可比绩效外,我们可以注意到GPT-4所花费的时间要比人类数据分析师短得多。我们假设每个月有大约21个工作日,每天工作8小时左右,并根据每个级别的数据分析师所花费的平均时间计算出每个实例在美元方面的成本。GPT4的成本约为初级数据分析员成本的0.71%和高级数据分析员成本的0.45%。

有网友评论:还以为是71%和45%,仔细一看,是0.71%和0.45%!

还有人把这一结论概括为:成本爆破。

不过,也有网友对这一研究结果提出质疑:

看了一下论文原文,标题党的成分过高。论文中举例,给高级数据分析师(9万美元/年薪)的测试题目是:“列出球员的位置和每个位置的球员平均得分。按条形图可视化,按升序总数排序?"。这用得着高级分析师?但确实成本上有很大优势。

其实,此前也有类似的研究,不过当时还是基于GPT-3.5,苏黎世大学的研究人员研究其在复杂标注任务上表现,当时的研究人员表示,机器学习模型在内容处理和数据清洗方面的表现以及成本效益,已经超过了众包平台上的人类雇员。

论文提到,“我们发现在五分之四的任务中,ChatGPT 的零样本准确率都高于 MTurk(注:MTurk 相当于劳务众包平台,申请人可以加入工作队列、等待任务分配。)。此外,ChatGPT 的成本也远低于 MTurk:ChatGPT 处理这五个分类任务(共25264条标注)的总成本约为68美元,而 MTurk(共12632条标注)的成本约为657美元。”研究人员表示,按标注数量计算,ChatGPT 的单位成本约为0.003美元,只相当于 MTurk 的二十分之一,而且准确率还更高。

当然,所谓的更准确仍然不够准确。苏黎世大学政治学系政策分析教授、论文联合作者之一 Fabrizio Gilardi 在采访邮件中指出,ChatGPT 在某些任务中的准确率还不到50%,但仍然优于 MTurk 众包雇员。

也许短时间内,上述行业在技术迭代的背景下暂时还是安全的,但谁会知道,也许某个颠覆性的时刻,已经在不经意间加快了步伐呢?

附上研究报告的PDF版:https://arxiv.org/pdf/2305.15038.pdf?

延伸阅读:

推荐内容