起原：云云众生s

以下是咱们挑选的开源AI技艺栈最好组件。

译自Stop Paying the OpenAI Tax: The Emerging Open-Source AI Stack，作家 Team Timescale。

译自Stop Paying the OpenAI Tax: The Emerging Open-Source AI Stack，作家 Team Timescale。

一套开源模子和器用，使任何征战者都能构建发轫进的AI应用要领。

如若咱们大略回到当年，告诉软件工程师他们的应用要领将由玄妙的AI驱动，咱们对其里面运作一无所知，何况他们为了体验的便利性而将最明锐的数据交给影子第三方，他们可能会难以置信地摇头。但这等于咱们目下所处的境地。

如今，全球的征战者正在围绕AI重新构念念他们的应用要领，默许情况下，这意味着将专有的大型言语模子（LLM）集成到各个方面。可是，诚然来自OpenAI和Anthropic等公司的专有LLM激勉了AI创新，但它们也存在明显的污点：惊东谈主的资本、数据阴私问题、供应商锁定以及穷乏可定制性。最初，为了创新性的功能而捐躯性能和戒指权似乎是一笔值得作念的往复，但如今很多征战者念念要一种不同的面孔。

伸开剩余90%

可是，创新总能使也曾独到的东西民主化。诚然最初的AI昂扬采集在专有模子上，但确切的创新是开源LLM当作专有模子（如OpenAI的模子）的可行替代决议的速轻视起。开源AI器用的创新也悄然爆发，使征战东谈主员大略讹诈开源LLM增强的推理才气，并将它们转化为有用的应用要领——从模子部署和托管器用到数据存储和检索，再到前端和后端Web框架，敩学相长。

为了匡助您了解这个新的领域，并基于与数百名征战东谈主员和其他AI器用构建者的对话，咱们正在分享咱们采纳的**“浅显形状”开源AI技艺栈**——最稳健征战东谈主员构建AI应用要领的模子和器用。以下是该技艺栈的组件若何协同责任以增强征战东谈主员才气并重塑AI畴昔的：

“浅显形状”开源AI技艺栈。精选的顶级模子和器用，使征战东谈主员大略无为构建AI应用要领，从而最大为止地戒指数据阴私、资本和性能。

这套开源AI器用将部署、阴私和性能的皆备戒指权交还给征战东谈主员，而不会捐躯其应用要领的智能性。征战东谈主员目下不错使用这些器用以任何他们念念要的面孔构建和部署AI科罚决议——土产货、云表或旯旮。他们保留对其数据的100%戒指权，何况不必惦念“值得信托的”第三方可能会若何处理潜在的明锐信息。这不单是是技艺上的调整；它亦然文化上的调整，象征着征战者自主性和创新的中枢价值不雅的转头。

这等于开源AI技艺栈的答应——一套使任何征战者都能构建发轫进AI应用要领的模子和器用。它不单是是一套技艺；它更是一场旨在使创新惠及每位征战者的畅通。

1. LLMs：开源模子

精选的顶级开源免费LLM，可与OpenAI、Anthropic和Google的专有模子相失色。其中包括Meta的Llama 3.3、Mistral模子系列、Qwen模子系列、微软的Phi 3以及DeepMind的Gemma 2。

开源大型言语模子正处于AI民主化的最前沿。诸如Meta的Llama 3系列、Mistral 7B和Pixtral 12B、阿里云的Qwen 2.5、微软的Phi 3和DeepMind的Gemma 2等模子都不错免费下载和使用，任何领有弥散硬件的征战者都不错运行。

这些开源模子可与专有科罚决议相失色，并提供以下上风：

更刚劲的数据戒指： 使用开源模子不错保证所少见据好意思妙性，幸免依赖第三方，并为征战者提供更刚劲的安全性和合规性保险。 具有竞争力的推感性能： 开源模子在MMLU、HumanEval和MATH Reasoning等基准测试中日益具有竞争力，标明开源模子和专有模子之间的推理差距正在安适。 天确切部署和可定制性： 您不错通过自行微调或窥探公开可用的模子微斡旋变体来稳健利基用例，而无需受供应商握住。 微型模子的后果和可膨胀性： 较小的开源模子经常需要较少的探讨才气，使其具有资本效益，何况易于在资源受限的教育或环境中部署，同期仍能为特定任务提供刚劲的性能。

2. 镶嵌模子：开源镶嵌模子

一些顶级的开源镶嵌模子包括Nomic、来自BAAI的BGE、Sentence Transformers系列以及来自Jina AI的模子等。向量镶嵌在当代AI应用中极其有用。它们为搜索和RAG（检索增强生成）功能提供解救，使LLM应用要领大略以更可靠、更合乎波折文的酌量谜底进行反馈。

就像开源LLM相同，开源镶嵌模子也取得了显耀进展，不错与OpenAI的text-embedding-3模子系列和Cohere的embed-multilingual-v3.0等专有科罚决议相失色。最初的开源镶嵌模子包括：

包含各式尺寸和专科化功能的开源镶嵌模子系列，从轻量级的all-minilm到多言语模子。

Sentence Transformers / SBERT： 开源的镶嵌模子眷属，包含各式大小和专科化的模子，从轻量级的all-minilm到多言语模子。 Nomic： Nomic Embed Text V1.5解救多种镶嵌尺寸（768、512、256、128、64），挑升用于检索、相似性、聚类和分类任务。它不错处理多达8,192个象征的序列，并为文本和图像数据提供多模态才气。 BGE (BAAI)： BGE（BAAI通用镶嵌）模子将文本映射到密集向量，用于检索、分类和语义搜索任务。最新的BGE-M3模子解救100多种言语，不错处理最多8192个token的文档。它具有多功能性（密集检索、多向量检索、寥落检索）才气。 Jina AI：Jina AI的jina-embeddings-v3是一个领有5.7亿参数的模子，解救89种言语，在30种中枢言语中确认出色。它具有8192个token的输入长度、可设置的最高1024维输出以及针对查询文档检索、聚类、分类和文本匹配的专科功能。

3. 模子窥探和部署：Ollama

Ollama已成为征战者窥探和使用开源LLM和镶嵌模子的默许器用。

部署AI模子也曾就像试图从你的车库辐射航天飞机相同。这需要令东谈主规避而视的专科常识组合：由博士构成的团队、复杂的架构以及会让大大宗组织望而却步的资源。Ollama透彻编削了游戏端正，允许征战者使用单个号召运行发轫进的模子：

ollama run llama3.2

通过单个器用窥探数百个LLM和镶嵌模子，轮廓化基础设施挑战并简化部署，Ollama将也曾看似难以突出的终止调整为无缝、直不雅的过程。它使征战东谈主员大略专注于科罚现实天下的问题，弥合个东谈主和企业神气创新与实用性之间的差距。

借助开源模子和Ollama的温顺性，征战东谈主员不错以前所未有的解放度来部署AI。举例：上述开源LLM和镶嵌模子部分中提到的所有模子都可通过Ollama获取！

4. 数据存储和检索：PostgreSQL、pgvector和pgai

开源数据库PostgreSQL偏激用于AI用例（如pgvector和pgai）的开源膨胀生态系统，是但愿构建AI应用要领的征战者的理念念采纳。

精致的数据和精致的检索是AI中RAG创新的中枢，使征战东谈主员大略创建LLM应用要领，为用户提供高度准确、合乎波折文、无幻觉的谜底。

可是，最好的AI应用要领不单是是使用向量数据库——它们波及非结构化数据、结构化数据和应用要领数据的组合，以及对具有复杂过滤器的雄壮数据集进行向量搜索。此类检索系统可确保您的用户获取最合乎波折文的谜底，但构建它们可能很复杂，在某些情况下，可能需要多个数据库系统和自界说数据管谈：

您需要存储文档和其他源数据以创建要搜索的常识库。 你需要一种要领来预处理数据，从中创建向量镶嵌，并在常识库发生变化时保捏这些镶嵌同步。 你还需要大略存储和搜索向量镶嵌，经常是大鸿沟的，何况对元数据和其他用户数据进行复杂的过滤。更毋庸说处理多佃户、权限和窥探戒指以及高可用性等实际问题了。

好音问是，PostgreSQL（天下上最受宽待的数据库）正在从可靠的相关型数据库调整为为 AI 应用要领提供解救的数据层，解救结构化数据、非结构化数据以及快速、准确的向量搜索。

PostgreSQL 是开源的，何况领有一个开源膨胀生态系统，这使其成为为 AI 应用要领提供存储和检索功能的首选数据库：

向量搜索：诸如pgvector和pgvectorscale之类的膨胀要领解救向量存储和相似性搜索，其性能优于挑升的向量数据库。 易用性：诸如pgai之类的膨胀要领简化了窥探 LLM 以对 PostgreSQL 中的数据进行推理的过程，何况诸如pgai Vectorizer之类的功能使镶嵌创建和同步与传统的数据库索引相同直不雅。 集成和生态系统：Pgai 对 Ollama 的解救使得无为窥探发轫进的开源模子以进行镶嵌创建或推理成为可能。

示例：使用几行 SQL 推行语义搜索：

CREATETABLEIF NOT EXISTS blog ( id SERIALPRIMARY KEY, title TEXT, authors TEXT, contents TEXT, metadata JSONB ); INSERT INTO blog (title, authors, contents, metadata) VALUES ('The Future of Artificial Intelligence', 'Dr. Alan Turing', 'As we look towards the future, artificial intelligence continues to evolve...', '{"tags": ["AI", "technology", "future"], "read_time": 12, "published_date": "2024-04-01"}'); --insert more data here --Vectorize data in the contents column using models from Ollama SELECTai.create_vectorizer( 'blog'::regclass, destination =>'blog_contents_embeddings', embedding =>ai.embedding_ollama('nomic-embed-text', 768), chunking => ai.chunking_recursive_character_text_splitter('contents') ); -- Perform semantic search SELECT b.title, b.contents, be.chunk, be.embeddingai.ollama_embed('nomic-embed-text', 'What comes next in AI') as distance FROM blog_contents_embeddings be JOIN blog b ONb.id=be.id ORDER BY distance LIMIT3;

5. 后端：FastAPI

你的应用要领后端将智能模子连合到面向用户的应用要领，而 FastAPI 已成为征战东谈主员的首选框架。它提供：

速率和温顺性：异步编程确保低蔓延和高隐隐量。 面向征战东谈主员的缱绻：自动 API 文档和类型教唆大略快速迭代。 无缝集成：荒谬稳健及时应用要领，举例聊天机器东谈主、推选引擎和展望分析。

FastAPI 放弃了后端瓶颈，使征战东谈主员大略无为地将 AI 应用要领从原型膨胀到坐褥环境。念念象一下部署一个由开源模子驱动的推选系统。FastAPI 的异步功能确保用户央求立即得到处理，而其自动文档使合作保捏无缝。这些功能共同将复杂的后端责任过程调整为可料理、高效的系统。

6. 前端：NextJS

AI 应用要领的前端需要处理复杂的情景料理和动态更新，而NextJS已成为用于坐褥部署的首选 React 框架。

它提供很多有用的功能：

搀杂渲染:做事器端渲染 (SSR) 和客户端静态渲染为您提供了天确切每个页面渲染柔顺存选项。Next.js 提供刚劲的做事器端功能，这关于 AI 应用要领尤其有益。该框架的 SSR 有助于灵验地料理探讨密集型 AI 任务，同期减少客户端教育的负载。这在处理复杂的 AI 模子交互和数据处理时尤其伏击。 及时流和更新:它与各式及时科罚决议无缝集成，以解救清醒的动态交互，这关于 AI 聊天和其他暴露动态内容的 UI 尤其伏击。 与 Vercel AI SDK 集成:Vercel AI SDK（亦然开源的）专为使用 Next.js 创建 AI 应用要领而构建，并解救客户端和做事器端的 AI 功能。它与Ollama很好地集成，并提供用于处理 AI 模子推理、流式反馈和连合提供商的实用要领。

7. 缺失的部分：评估和考据

诚然开源 AI 技艺栈照旧熟习，但评估仍然是一个要津挑战。像LangFuse和Arize 的 Phoenix这么的神气提供了但愿，但生态系统仍然穷乏一个用于测试和考据 AI 模子的全面框架。这一差距代表了一个创新的契机——一个让社区界说可靠的、现实天下的 AI 应用要领的契机。

这为什么伏击： 与传统应用要领不同，LLM 黑白细目性的，这意味着如若您在莫得评估和考据的情况下部署 AI 应用要领，您将无法判断应用要领的性能。刚劲的评估系统关于确保您的应用要领目下和系统发展过程中都能精致运行至关伏击。

咱们应该说，鉴于开源社区在创建可不雅察性和监控器用方面的刚劲记载，咱们发现这种才气差距特殊真谛。咱们以为，总的来说，评估生态系统还处于起步阶段，尚未找到正确的要领。咱们怀疑目下的系统过于千人一面，何况低估了不同神气之间评估需求的各样性。需要的是一种雷同于 DevOps 中GitOps 创新的视角调整，这等于为什么咱们特殊欢笑看到开源驱动的创新在这个领域欣喜发展。

通达获取创新：你将构建什么？

开源 AI 技艺栈不单是是一组器用——它是一场畅通。征战东谈主员目下不错解放地构建、创新和戒指他们的 AI 应用要领，而无需惦念供应商锁定或阴私问题。

使用开源 AI，您不错获取：

解放部署在职何场所——土产货、云表或旯旮。 皆备戒指数据——无需第三方分享。 可定制性以称心您的需求。 与全球社区合作。

这不单是关乎技艺；它关乎创造属于你我方的东西。无论您是部署模子、构建 RAG 应用要领照旧启动新的 AI 做事，开源技艺栈都让您不错按照我方的面孔进行操作。

立即运行：

使用 Ollama部署开源模子。 使用 PostgreSQL构建 RAG 应用要领。 使用 FastAPI创建您的后端。

实验、迭代和孝敬。开源 AI 创新照旧到来——你将构建什么？

本文由 Matvey Arye 和 Avthar Sewrathan 撰写，并于 2024 年 12 月 16 日在 Timescale 官方博客上初次发布。

本文在云云众生（https://yylives.cc/）首发体育游戏app平台，宽待公共窥探。

本文在云云众生（https://yylives.cc/）首发，宽待公共窥探。

发布于：北京市