如何快速准确地处理文本数据?

Challenge

医疗开支事务组统计调查, 由医疗保健研究和质量局(AHRQ)资助, 是一系列对家庭和个人的大规模调查吗, 以及他们在美国的医疗服务提供者.S.

More than 20,每年，采访者将000条开放式评论输入MEPS计算机辅助个人访谈(CAPI)系统，以澄清受访者的答案.

Then, 一组人类编码员检查每个句子，从10个预定义的类中为句子分配主题标签, 并使用相关程序对数据进行进一步处理. Also, MEPS是一个小组研究，有一个短的时间窗口, usually a week, 对评论进行处理，以便将数据返回给现场工作人员，以便在下一波依赖访谈中使用. 处理这些数据需要大量的劳动和时间.

趣赢平台利用人工智能(AI)能力的力量，使这一过程更加及时和高效.

Solution

趣赢平台使用自然语言处理(NLP), machine learning (ML), 深度学习技术训练分类模型，自动将评论标记为10个预定义的类.

然后，我们将模型作为RESTful API部署到生产环境中，以便它可以在人类编码人员使用的系统后端中运行. 该模型根据分类概率给出每个句子的前3个分类, 它允许人类程序员在审查评论时从3个而不是10个中进行选择.

Results

该数据工具已在2020年的过去两个数据收集期间投入使用. 该工具对处理10中的顶级建议的分类准确率达到95%以上,每轮超过000条评论, 效率提高了约5%，并将积压工作减少到几乎为零.