Advertisement

ERNIE提供预训练模型和微调工具的源码,以增强其语言理解能力。

  • 5星
  •     浏览量: 0
  •     大小:None
  •      文件类型:None


简介:
ERNIE是由百度创新研发的,它是一种基于知识增强的持续学习语义理解框架。该框架巧妙地融合了大规模数据预训练与来自多方来源的丰富知识,并利用持续学习技术,不断吸收海量文本数据中的词句、结构以及语义信息。ERNIE在情感分析、文本匹配、自然语言推理、词法分析、阅读理解以及智能问答等16个公开数据集上均实现了显著领先,远超世界顶尖水平。更令人瞩目的是,在国际公认的通用语言理解评估基准GLUE上,ERNIE首次取得了90分以上的惊人突破,并荣获全球首位。此外,在今年3月结束的全球最大语义评价活动SemEval2020中,ERNIE更是斩获了5项世界冠军头衔。值得一提的是,《麻省理工科技评论》官方网站对该技术进行了专题报道,并将其相关创新成果收录于国际顶级学术会议AAAI和IJCAI之中。

全部评论 (0)

还没有任何评论哟~
客服
客服
  • ERNIE:ERNIE实现(含)-
    优质
    ERNIE项目提供了一个强大的语言理解框架,包括预训练模型和便捷的微调工具,致力于推动自然语言处理技术的发展与应用。此源码库是深入研究ERNIE机制的理想起点。 ERNIE是百度提出的一种基于知识增强的持续学习语义理解框架。该框架结合了大数据预训练与多源丰富知识,并利用持续学习技术不断吸收海量文本数据中的文字、句法结构及语义信息。在情感分析、文本匹配、自然语言推理等16个公开数据集上,ERNIE的表现全面超越世界领先的技术水平,在国际权威的通用语言理解评估基准GLUE中首次突破90分大关,位居全球第一。在今年3月结束的全球最大规模语义评价SemEval2020竞赛中,ERNIE荣获5项冠军荣誉。该技术还被《麻省理工科技评论》杂志和顶级学术会议AAAI、IJCAI收录并报道。
  • 基于中文LLaMA与指令Alpaca大:通过中文数据二次基础
    优质
    本研究介绍了一种基于中文LLaMA模型和指令微调技术的改进版Alpaca大型语言模型。该模型经过中文数据的二次预训练,显著增强了其在处理中文文本时的基础语义理解和生成能力。 中文LLaMA模型和经过指令微调的Alpaca大模型使用中文数据进行了二次预训练,进一步提升了其在中文基础语义理解方面的能力。
  • Transformer
    优质
    预训练的Transformer语言模型是基于自注意力机制的深度学习架构,广泛应用于自然语言处理任务中,通过大规模文本数据进行预训练以捕捉语义信息。 Transformer是一种预训练语言模型。
  • SRN-DeblurNet: PyTorch实现及
    优质
    简介:SRN-DeblurNet是一款用于图像去模糊任务的深度学习模型,基于PyTorch框架开发,并提供了经过大量数据训练得到的预训练模型。 为了训练SRN-DeblurNet模型,我严格按照原始论文中的所有配置进行操作。在测试PSNR值时,我把GOPRO数据集的测试部分分为两半:一半用于验证,另一半用于最终测试,并得到了29.58db PSNR的结果(而原论文报道的数据为30.26db)。我已经提供了预训练模型。 值得注意的是,在没有进行伽玛校正的情况下也可以对GOPRO中的模糊图像进行训练。我尝试将该模型应用到真实世界中的人脸图像上,但发现其推广效果不佳。欢迎任何讨论或更正意见。
  • 土耳Word2Vec:土耳Word2Vec
    优质
    本项目提供了一个针对土耳其语的预训练Word2Vec模型,旨在为自然语言处理任务如文本分类、情感分析等提供高质量词向量。 本教程介绍了如何从Wikipedia转储中为土耳其语训练word2vec模型。此代码使用Python 3编写。由于土耳其语是一种凝集性语言,在维基百科的语料库中有许多词具有相同的词缀但不同的后缀,因此我将写一个土耳其语lemmatizer来提高模型的质量。您可以查看相关文档以了解更多详细信息。如果您只想下载预训练的模型,则可以在GitHub Wiki中找到示例代码和说明。例如: word_vectors.most_similar(positive=[kral,kadın])
  • ProtTrans: 先进蛋白质Transformer
    优质
    简介:ProtTrans是一种先进的基于Transformer架构的模型,专门用于蛋白质的预训练。它能够有效提升生物信息学领域中各类任务的表现,为药物设计和生物学研究提供强大支持。 ProtTrans 提供了最先进的蛋白质预训练模型,并通过使用数千个来自Summit的GPU以及各种Transformers模型中的Google TPU进行了培训。欲了解更多关于我们的工作,请查阅我们的论文。此存储库将定期更新,以支持生物信息学界,特别是我们SASAR项目在Covid-19研究方面的进展。 目录: - 预言 - 蛋白质序列生成 - 可视化 - 基准测试 - 期望成绩 - 二级结构预测(第3季度) - 二级结构预测(Q8) - 膜结合与水溶性(Q2) - 亚细胞定位(Q10) - 社区和贡献 - 遇到问题? - 发现错误? - 特别要求 - 团队成员
  • 医疗大:涵盖、有监督、RLHF(奖励建化学习)及DPO.zip
    优质
    本资料介绍如何通过增量预训练、有监督微调、RLHF(包括奖励建模和强化学习)以及DPO等方法训练医疗领域的大规模模型,提升其性能和适用性。 训练医疗大模型包括增量预训练、有监督微调、RLHF(奖励建模和强化学习训练)以及DPO(直接偏好优化)。
  • OpenPose官方Caffe文件-附件资
    优质
    本资源提供OpenPose项目的Caffe框架下的预训练模型文件,便于用户快速上手人体关键点检测,促进姿态估计研究与应用。 openpose官方提供的预训练caffe模型文件可以作为附件资源获取。
  • CIFAR10 - PyTorch - 包含文件、测试代及Kaggle上
    优质
    本项目提供了一个基于PyTorch框架的CIFAR-10数据集图像分类解决方案,包含详细的模型源码、训练与测试脚本,并附有在Kaggle平台上的预训练模型以供参考和使用。 cifar10文件夹:包括了cifar10原数据库 kaggle文件夹:包括了在kaggle上训练好的模型及日志文件 model文件夹:包括了本地cpu训练好的模型 src文件夹: - kaggle_tensorboard.py: 用于使用tensorboard展示kaggle上训练的日志 - model.py: 神经网络模型 - res_model:残差网络模型 有问题就发邮件。GuanlinLi_BIT@163.com
  • --国内首款全参数法律大HanFei-1.0
    优质
    简介:HanFei-1.0是国内首个完全自主训练的法律专业大模型,基于先进的人工智能技术,专注于提供精准、高效的法律咨询服务和解决方案。 近年来,在人工智能领域内取得的显著进展之一是大语言模型的研究与应用。预训练的大规模语言模型如GPT和BERT系列已经成为推动自然语言处理技术进步的关键力量。这些模型通过学习海量文本数据,能够理解和生成人类语言,并为各种自然语言任务提供了强大的技术支持。 其中,专注于特定领域的大型语言模型尤为突出。例如HanFei-1.0(韩非),它是国内首个全参数训练的法律大模型,名字来源于中国古代著名的法家思想家韩非子。该模型拥有70亿个参数,在处理复杂的语言任务时表现出较高的智能水平。 HanFei-1.0的核心功能包括法律问答、多轮对话和撰写文章等。这些功能不仅能够帮助专业人员快速准确地获取信息,还能提高服务质量并提升效率。 在法律问答方面,用户可以通过该模型获得各种类型的即时解答,无论是民事、商事还是刑事或行政方面的法律问题都能得到响应。这为不具备专业知识的公众提供了极大的便利。 多轮对话功能使用户可以与模型进行深入且连续的交流。对于需要详细解释和指导的问题尤其有用,因为用户能够连续提问并收到连贯的回答,帮助他们逐步理解复杂的法律问题。这种交互方式极大地提升了用户体验,并简化了咨询过程。 撰写文章的功能为法律专业人士提供了极大的便利性。HanFei-1.0可以根据所提供的案例要点自动生成各种类型的法律文书,如意见书、起诉书和辩护词等。这不仅减轻了专业人员的工作负担,还保证了一定程度上的文档质量和标准化水平。同时,在编写过程中还能根据最新的法律法规进行实时更新。 尽管目前HanFei-1.0的功能已经非常强大,其研发团队仍在不断优化和完善中,并期待在未来能够提供更加丰富的功能。例如在法律信息检索方面,一个高效的系统可以帮助专业人士快速找到相关的法规、司法解释和案例等资料。HanFei-1.0有望在此领域提供突破性的技术支持。 总而言之,作为一款专注于法律领域的全参数训练语言模型,HanFei-1.0已经在多个核心功能上展现了其强大的应用潜力,并且随着技术的进步与改进,它将逐渐成为法律专业人士不可或缺的智能助手之一。