CAIL 2023一共设置了七个任务,分别为:司法考试、对话式类案检索、类案检索、事实认定、论辩理解、信息抽取、司法大模型。同时,我们也将提供海量司法文书数据作为数据集。CAIL 2023预计将于2024年1月在北京举办颁奖典礼暨法律智能技术研讨会。我们诚邀学术界和工业界的研究者和开发者积极参与和支持!
赛制一:采用两个阶段赛制,分别为入门赛阶段、封测阶段。
1. 入门赛阶段提供小规模数据集。选手需在小规模数据集上效果超过官方提供的Baseline,才能够进入到封测阶段。此阶段将会长期开放。
2. 封测阶段将不定期开放,本年度开放时间预估为11月15日,后续我们会不定期的开放封闭测试,并邀请在入门赛中取得比较好的成绩的团队或者个人参与到封闭阶段的比赛中,同时会开放学术交流活动,我们也会为封闭测试期间取得优异成绩的团队或者个人发放奖励。
本次比赛中司法考试、事实认定、论辩理解、信息抽取将采用以上描述的这种赛制。
赛制二:沿用往届评测赛制,采用三阶段赛制,三阶段分别为初赛阶段、复赛阶段、封测阶段。三阶段的赛制设计可以防止过度调参带来的模型过拟合,尽可能确保泛化性能强的模型取得较高的得分。选手的最终成绩将综合考虑三个阶段的表现得出。
1. 初赛阶段提供小规模数据集。选手需在小规模数据集上效果超过官方提供的Baseline,才能够进入到复赛阶段。
2. 复赛阶段将为选手提供全量的训练数据集,帮助选手更好地对模型进行调优。
3. 封测阶段要求选手提供模型,并用新的测试集评测模型的泛化性。
本次比赛中对话式类案检索、类案检索、司法大模型将采用以上描述的这种赛制。