站点介绍
这个存储库旨在作为一个最小的、可破解的和可读的示例来加载LLaMA (arXiv)模型并运行推理。
相似站点
Gemma
Gemma是什么 Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放A!模型，基于与Gemin;模型相同的技术，旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型:Gemma28 和 Gemma 7B，提供预训练和指令微调版本，支持多种框架，如JAX、PyTorch和TensorFlow，以在不同设备上高效运行。 Gemma的官方入口 Gemma的官网主页:https://ai.google.dev/gemma?hl=zh-cnc Gemma的Hugging Face模型:https://huggingface.co/models?search=google/gemmaz Gemma的Kaggle模型地址:https://www.kaggle.com/models/google/gemma/code/c Gemma的技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdfz 官方PyTorch实现GitHub代码库:https://github.com/google/gemma_pytorchc。 Gemma的Google Colab运行地址: https:/colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynbc Gemma的主要特性 1.轻量级架构:Gemma模型设计为轻量级，便于在多种计算环境中运行，包括个人电脑和工作站。 2.开放模型:Gemma模型的权重是开放的，允许用户在遵守许可协议的情况下进行商业使用和分发 3.预训练与指令微调:提供预训练模型和经过指令微调的版本，后者通过人类反馈强化学习(RLHF)来确保模型行为的负责任性。 4.多框架支持:Gemma支持JAX、PyTorch和TensorFlow等主要AI框架，通过Keras 3.0提供工具链，简化了推理和监督微调(SFT)过程。 5.安全性与可靠性:在设计时，Gemma遵循Google的AI原则，使用自动化技术过滤训练数据中的敏感信息，并进行了一系列安全评估，包括红队测试和对抗性测试。性能优化: 6.Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化，确保在不同设备上都能实现高性能. 7.社区支持:Google提供了Kaggle、Colab等平台的免费资源，以及Google Cloud的积分，鼓励开发者和研究人员利用Gemma进行创新和研究。 8.跨平台兼容性:Gemma模型可以在多种设备上运行，包括笔记本电脑、台式机、物联网设备和云端，支持广泛的A!功能. 9.负责任的AI工具包:Google还发布了Responsible Generative Al Toolkit，帮助开发者构建安全和负责任的AI应用，包括安全分类器、调试工具和应用指南。 Gemma的技术要点 1.模型架构：Gemma基于Transformer解码器构建，这是当前自然语言处理(NLP)领域最先进的模型架构之一。采用了多头注意力机制，允许模型在处理文本时同时关注多个部分。此外，Gemma还使用了旋转位置嵌入(ROPE)来代替绝对位置嵌入，以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活，以及在每个Transformer子层的输入和输出都进行了归一化处理。 2.训练基础设施：Gemma模型在Google的TPUv5e上进行训练，这是一种专为机器学习设计的高性能计算平台。通过在多个Pod(芯片集群)上进行模型分片和数据复制，Gemma能够高效地利用分布式计算资源。 3.预训练数据：Gemma模型在大量英语数据上进行预训练(2B模型大约2万亿个token的数据上预训练，而7B模型则基于6万亿个token)，这些数据主要来自网络文档、数学和代码。预训练数据经过过滤，以减少不想要或不安全的内容，同时确保数据的多样性和质量。 4.微调策略：Gemma模型通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)进行微调。这包括使用合成的文本对和人类生成的提示响应对，以及基于人类偏好数据训练的奖励模型。 5.安全性和责任：Gemma在设计时考虑了模型的安全性和责任，包括在预训练阶段对数据进行过滤，以减少敏感信息和有害内容的风险。此外，Gemma还通过了一系列的安全性评估，包括自动化基准测试和人类评估，以确保模型在实际应用中的安全性。 6.性能评估：Gemma在多个领域进行了广泛的性能评估，包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比，在MMLU、MBPP等18个基准测试中，有11个测试结果超越了Lama-13B或Mistral-7B等模型。 7.开放性和可访问性：Gemma模型以开源的形式发布，提供了预训练和微调后的检查点，以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型，推动AI领域的创新。
Jan
Jan (Jan.ai)是一个免费开源的本地运行大模型并进行A!聊天对话的工具，可帮助用户在本地电脑(Windows、Mac、linux)上安装、部署、运行并使用开源版本的ChatGPT替代大模型，如LLaMa、Mistral、Phi-2等20多个模型，也支持输入自己的OpenAI API Key以运行GPT。相较于A!工具集此前介绍的0llama，该工具提供了对话U!和API服务器，适合开发者、研究人员或A!爱好者本地体验开源的大模型。 Jan的主要功能 1.本地运行开源大模型:支持LlaMa、Mistral、phi-2、DeepSeek、Yi等20多个模型，可手动导入也可以在模型库下载模型 2.简洁好用的聊天界面:软件界面清爽简洁、直观易用，直接在本地与开源大模型快速进行对话聊天 3.支持多个平台:Jan支持在Windows、Mac(Inte1、M1/M2/M3)和Linux等操作系统运行，后续还将推出移动端APP. 4.内置API服务器:与OpenAIAPI兼容，可通过API获取模型信息、下载、启动、停止模型及聊天等 如何使用Jan 1.访问Jan的官网(jan.ai)选择对应的电脑操作系统版本，点击Download进行下载， 2.然后安装并打开软件，在软件界面的左下角点击Download your first model 3.进入模型库Hub界面，选择你感兴趣的模型进行下载，，下载完成后点击Use使用该模型 4.在对话界面输入你的描述即可与你选择的模型进行对话啦 Jan还在持续开发中，后续会支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。
GPT-4
GPT-4介绍 GPT-4(Generative pre-trained Transformer)是 OpenA!开发的自然语言处理模型 GPT 家族中的第四个版本，该模型依靠强大的神经网络来理解和生成类似人类的语言。 GPT-4 通过使用被称为「转换器(Transformer)」的特殊架构来帮助软件理解单词的含义以及它们在句子中的组合方式。通俗来讲，Transformer帮助计算机找出如何将所有的词以正确的顺序放在一起，使之有意义。 之所以采用这样的方法，是因为该模型已经在一个巨大的数据集上进行了训练，其中包括来自不同来源的文本，如书籍、文章和网站。这种训练使 GPT-4 模型能够进行类似人类的对话，并产生看似有意义的回应。不过虽然 GPT-4 创造的文本和回应读起来像人但它远远不是有意识的智能，离通用人工智能还有距离。 GPT-4的工作原理 1.GPT-4通过与其前身(GPT-3.5)相同的基本流程工作，但规模更大，以下是其主要的工作原理: 2.Transformer架构: GPT-4是使用一种叫做[Transformer」的设计来构建的，这些转换器就像超级智能机器，能够理解一句话中哪些词是重要的以及它们之间的关系。 3.大规模的预训练: GPT-4从大量的文本中学习，如书籍、网站和文章，这样一来，它就能更好地理解语言模式、语法和事实。 4.微调(Fine-tuning)在从大量文本中学习后，GPT-4会在特定的任务中接受训练，如回答问题或理解文本中的情感，这有助于它在处理这些任务时变得更加出色。 5.分词(Tokenization): GPT-4将文本分解成更小的部分，称为[tokens」，这些token可以是单词或单词的一部分，这有助于它处理不同的语言并理解词语的含义。 6.上下文窗口 (Context window): GPT-4有一个限制，即它可以一次查看多少个token。这个限制有助于它理解语境和单词之间的关系，但这也意味着它不一定能理解很长的句子或段落。 7.概率分布和抽样: 当GPT-4生成文本时，它根据模型认为每个词的可能性的大小来猜测下一个词。然后，它从这些猜测中挑选出一个词，使其够创造出多样化和有趣的句子。 8.细粒度控制(Fine-grained control):GPT-4可以通过使用特殊提示或调整其设置等技巧，引导它给出特定类型的答案或文本，以帮助从该模型中获得我们想要的结果。 ChatGPT和GPT-4的区别 1.ChatGPT 是基于 GPT-3.5 和 GPT-4 模型的，专门为对话式人工智能应用而设计的，比如根据用ChatGPT 和 GPT-4 并不是同一回事,户输入生成类似人类的文本回复。 2.而GPT-4指的是GPT系列大语言模型的当前版本--驱动ChatGPT的引擎。 3.ChatGPT提供的输出读起来更自然，GPT-4更强大，在输入/输出方面可以处理更多文本。 GPT-4可以免费访问吗? 这个问题的答案:是也不是。 这些平台使用GPT-4来生成内容并与用户互动。然而，GPT-4只有在ChatGPT用户可以通过ChatGPT、New Bing等软件访问GPT-4呈序和服务的API。New Bing(新必应)可以每天免费有限次数使用GPT-4驱动Plus付费计划下才能使用，或者作为开发者建立应用的AI聊天，而独立用户在这些人工智能聊天机器人平台之外没有机会使用GPT-4。
