掌握法学硕士和生成式人工智能的10个重要主题

生成式人工智能是一个新的领域。在过去的一年中，涌现了许多新的术语、发展、算法、工具和框架，它们可以帮助数据科学家和从事人工智能工作的人开发他们想要的任何东西。对于那些希望深入研究生成式人工智能并实际开发其他人将使用的工具的人来说，这是一个很大的学习机会。在这篇博客中，我们将探讨构建生成式人工智能应用的十个关键要素，包括大型语言模型的基础知识、微调和核心自然语言处理能力。

语言模型（LLM）的基础知识

首先，你需要了解生成式人工智能和语言模型的基础知识，例如关键术语、用途、潜在问题和主要框架。在深入研究语言模型和生成式人工智能之前，你应该知道数据是如何进行训练的，以及数据中可能存在的任何潜在偏见或问题，这样你就可以在算法设计时考虑这些因素。你还应该了解语言模型可以有多大，训练过程中的计算开销有多大，以及语言模型训练和机器学习模型训练之间的区别。最后，要知道最终你希望它能做什么。不要盲目地期望它能做所有的事情。你是想要一个聊天机器人、一个问答系统还是一个图像生成器？相应地进行规划！

提示工程

另一个你最近可能听说过的流行词是“提示工程”，它是在开发了语言模型后为其设计输入的过程。例如：如果你希望语言模型为营销活动创建社交媒体文案，而“创建一条Twitter帖子”这个提示太过笼统，你可以将其工程化，使其变得更加具体，例如“创建一条面向千禧一代的、简洁明了的Twitter帖子”。这就涉及到人工智能的艺术，而且已经成为一项独立的工作。你甚至可以微调提示，以获得你想要的结果。

使用OpenAI进行提示工程

作为语言模型和生成式人工智能的领军人物，重要的是要知道如何专门使用OpenAI工具进行提示工程，因为在你的职业生涯中很可能会用到它们。首先确保你正在使用最新版本的OpenAI API和/或你正在使用的插件和第三方工具。有些组织使用自己的工具，比如Microsoft的Azure OpenAI GPT模型，所以确保你按照他们的指示正确操作。

问答

问答（QA）语言模型是一种经过专门训练以回答问题的大型语言模型。它们以大量的文本和代码数据集进行训练，包括书籍、文章和代码库中的文本。这使它们能够学习单词和短语之间的统计关系，并理解问题和答案的含义。这很可能是你将要进行的工作，可以将其视为更高级（即实际有帮助的）聊天机器人。

微调

微调可以用于改进语言模型在文本生成、翻译、摘要和问答等各种任务上的性能。它还可以用于为特定应用定制语言模型，比如客户服务聊天机器人或医疗诊断系统。对于微调语言模型，有很多不同的方法。其中一种常见的方法是使用监督学习。这涉及将具有标签的数据集提供给语言模型，其中每个数据点都是一个输入和输出的组合。语言模型通过最小化损失函数来学习将输入映射到输出。

嵌入模型

当将自然语言映射到下游的语言模型所使用的向量时，嵌入模型非常有用。在微调流水线时，由于流水线通常包括多个模型，可以对多个不同的模型进行微调，以更好地适应你的数据中的细微差异。语言模型可以利用预训练的词嵌入作为其输入或初始化的一部分，从而使其受益于嵌入模型捕捉到的语义信息。嵌入模型为理解单词的含义和关系提供了基础，语言模型可以在此基础上生成连贯且与上下文相关的文本。

LangChain

LangChain可以通过将多个模型链接在一起来构建复杂的LLM流水线。不过，由于这些模型在功能上非常灵活（分类、文本生成、代码生成等等），我们可以将它们与其他系统集成 – 例如，我们可以使用模型生成调用API的代码，编写和执行数据科学代码，查询表格数据等等。我们可以使用`Agents`与所有这些外部系统交互，执行LLMs指示的动作。Agent的基本思想是让LLM在给定一组不同工具的情况下选择一个动作或一系列动作。

参数高效/调整

参数高效微调是一种机器学习技术，特别是在大型神经语言模型（如GPT或BERT）的环境中，旨在通过最小的额外参数开销将这些预训练模型适应特定任务。与微调整个庞大模型不同，参数高效微调向预训练模型添加了相对较少的任务特定参数或“适配器”。这些适配器是紧凑的、任务特定的模块，被插入到模型架构中，使其能够在不大幅增加模型大小的情况下适应新的任务。

这种方法显著减少了计算和内存需求，使得使用有限资源对大型语言模型进行微调以适用于各种应用变得更加可行，同时保持竞争性能。参数高效微调不断增加其重要性，因为它在模型大小和适应性之间取得了平衡，使得最先进的语言模型对于现实世界的应用更加易用和实用。

RAG

RAG – 即检索增强生成 – 首先使用基于检索的模型从知识库中检索与输入文本相关的文档。然后，将检索到的文档与输入文本连接在一起，并馈送给生成模型。生成模型会根据输入文本和检索到的文档生成输出文本。

自然语言处理

最后但同样重要的是，您需要对自然语言处理（NLP）有相当了解。LLM和生成式AI并不是一个独立的领域，因为它们都建立在NLP原理上。LLM是在大量文本和代码数据集上训练的，并使用NLP技术来理解数据的含义并生成新的文本。如果您不了解NLP，将很难理解LLM的工作原理以及如何有效使用它们。

如何了解更多关于LLMs和生成式AI的这些技能

上面列出的每项技能都是一个独立的任务，并且了解其中一个事实并不能让您成为LLMs和生成式AI的专家。超越学习以上所列的所有十项LLM技能的需求，最好是以一种连贯的方式学习，而不是从随机的资源中获取知识。

在我们最新的Ai+培训课程《生成式AI基础》中，您可以学习以上提到的所有技能，以及它们之间的关联和使用方法。所有课程都是动手操作，包括代码，并将指导您完成构建和使用LLMs和生成式AI的整个过程。

该课程包含在Ai+培训订阅中，您甚至可以通过购买ODSC West 2023和ODSC East 2024的某些门票来获得Ai+订阅！