CAIL 2023 报名



CAIL 2023 评测内容

CAIL 2023一共设置了七个任务,分别为:司法考试、对话式类案检索、类案检索、事实认定、论辩理解、信息抽取、司法大模型。同时,我们也将提供海量司法文书数据作为数据集。CAIL 2023预计将于2024年1月在北京举办颁奖典礼暨法律智能技术研讨会。我们诚邀学术界和工业界的研究者和开发者积极参与和支持!



CAIL 2023 赛制说明

赛制一:采用两个阶段赛制,分别为入门赛阶段、封测阶段。

1. 入门赛阶段提供小规模数据集。选手需在小规模数据集上效果超过官方提供的Baseline,才能够进入到封测阶段。此阶段将会长期开放。

2. 封测阶段将不定期开放,本年度开放时间预估为11月15日,后续我们会不定期的开放封闭测试,并邀请在入门赛中取得比较好的成绩的团队或者个人参与到封闭阶段的比赛中,同时会开放学术交流活动,我们也会为封闭测试期间取得优异成绩的团队或者个人发放奖励。

本次比赛中司法考试、事实认定、论辩理解、信息抽取将采用以上描述的这种赛制。

赛制二:沿用往届评测赛制,采用三阶段赛制,三阶段分别为初赛阶段、复赛阶段、封测阶段。三阶段的赛制设计可以防止过度调参带来的模型过拟合,尽可能确保泛化性能强的模型取得较高的得分。选手的最终成绩将综合考虑三个阶段的表现得出。

1. 初赛阶段提供小规模数据集。选手需在小规模数据集上效果超过官方提供的Baseline,才能够进入到复赛阶段。

2. 复赛阶段将为选手提供全量的训练数据集,帮助选手更好地对模型进行调优。

3. 封测阶段要求选手提供模型,并用新的测试集评测模型的泛化性。

本次比赛中对话式类案检索、类案检索、司法大模型将采用以上描述的这种赛制。

评测任务

司法考试

根据司法考试的题面以及选项,要求模型输出对应的正确答案

对话式类案检索

辅助司法人员对法律文书中存在的错误自动检出并纠正

类案检索

面向中国刑事案例,根据查询案例从候选案例池中筛选出与之相关的类案

事实认定

在案件内容中寻找待证事实与其对应的支持性证据,并形成最终事实认定结果

论辩理解

自动化识别裁判文书控辩双方的争议观点对,形成争议焦点

信息抽取

根据案件情节描述,识别文本中的司法关键实体及其关系,并按照规定格式返回结果

司法大模型

一个全面的司法领域大模型评估框架