站点介绍
K2是一个地球科学的开源大预言模型。首先通过收集和清理的地球科学文献(包括地球科学开放获取论文@ 和维基百科页面)对 LLaMA 进行进一步预训练,然后使用知识密集型指令调优数据(GeoSignal)。
初步评估采用GeoBenchmark(由NPEE和AP Test on Geology、Geography、Environmental Science组成)作为基准。与具有相似参数的几个基线模型相比,K2在客观和主观任务上的表现优于基线。
我们介绍 K2 (7B),它是一个开源语言模型,首先在收集和清理过的地球科学文献(包括地球科学开放存取论文和维基百科页面)上对 LLaMA 进行进一步预训练,然后使用知识密集型指令调整数据(GeoSignal)进行微调在初步评估中,我们使用 GeoBench(由 NPEE 和关于地质学、地理学和环境科学的 AP 测试组成)作为基准。与参数相似的几个基准模型相比,K2 在客观和主观任务上的表现都优于基准模型。在该资源库中,我们将共享以下代码和数据。