成为机器学习工程师，而不是API调用者

2024 / 7 / 5

为什么有抱负的机器学习工程师需要坚实的基础。

Rishiraj Acharya

·May 2, 2024 ·

在人工智能迅速发展的领域中，大型语言模型（LLM）如OpenAI的ChatGPT和Google的Gemini已经占据了中心舞台。这些通过简单API调用即可访问的强大模型，为初创公司和开发人员开启了新的可能性，使他们能够轻松地将先进的自然语言处理能力集成到他们的应用程序中。然而，在围绕这些LLM的兴奋和炒作中，出现了一个令人担忧的趋势：有抱负的机器学习工程师（MLE）在没有掌握机器学习核心概念的情况下就跳上了这趟车。在这篇博客文章中，我们将深入探讨为什么仅依赖LLM API对于初学者来说是一种误导性的方法，探讨公司如何利用这种炒作，并强调对于高级职位来说，强大的基础机器学习知识的重要性。

LLM API的诱惑

LLM的崛起无疑已经彻底改变了自然语言处理的领域。这些模型在大量文本数据上使用最先进的深度学习架构进行训练，已经展示了在生成类人响应、回答问题和协助各种任务方面的惊人能力，从内容生成到代码完成。通过简单的API调用即可访问这些功能，吸引了众多开发人员，尤其是那些在Web开发或其他编程领域有背景的开发人员。能够快速构建智能应用程序而无需深入研究机器学习的复杂性，对于许多人来说是一个诱人的提议。

LLM API的诱惑是可以理解的。它们为将最先进的自然语言处理能力集成到应用程序中提供了一条看似直接的道路，而无需传统机器学习方法所涉及的陡峭学习曲线。对于已经精通Web技术和API集成的开发人员来说，利用LLM可以感觉像是他们技能集的自然延伸。仅用几行代码就能创建聊天机器人、内容生成器和智能助手的能力无疑是吸引人的。

此外，LLM的炒作是由像OpenAI和Google这样的公司展示的令人印象深刻的演示和案例研究所推动的。这些展示所产生的媒体关注和热议进一步促成了这样的观念：LLM API是解锁机器学习潜力的关键。渴望抓住这股兴奋浪潮并构建创新应用程序的开发人员很容易被这些API所承诺的简单性和力量所吸引。

过度依赖API的陷阱

虽然LLM API为进入机器学习世界提供了一个方便的切入点，但仅依赖它们可能会损害有抱负的MLE的长期成长和成功。让我们探讨一下原因：

  1. 缺乏理解： 当开发人员简单地调用API来利用LLM的能力时，他们错过了了解支持这些模型的底层原理和算法的机会。他们仍然对反向传播、激活函数、梯度、批量归一化和注意力机制等基本概念一无所知，这些构成了现代ML系统的骨干。

没有对这些概念有扎实的掌握，人们基本上是将LLM API视为黑箱。他们输入数据并接收输出，而不理解幕后发生的复杂过程。这种缺乏理解可能会导致后续出现几个问题，例如难以解决故障、无法优化性能，以及将模型适应特定领域或需求的能力有限。

此外，仅依赖API可能会产生一种虚假的专业知识感。人们可能认为他们已经掌握了机器学习，因为他们能够将LLM集成到他们的应用程序中。然而，这种肤浅的理解远远不是机器学习领域真正需要的那种深入的基础知识。

  1. 定制限制： LLM API提供的是具有固定架构和参数的预训练模型。虽然这些模型可以为特定任务进行微调，但定制和优化它们的能力是有限的。仅依赖API的MLE在面临需要定制模型架构或训练技术的独特问题领域时可能会遇到困难。

在现实场景中，现成的LLM可能并不总是为给定任务提供最佳解决方案。不同的应用程序和领域通常需要定制的方法，如域特定的预处理、数据增强技术或新颖的模型架构。没有深入理解ML概念，有抱负的MLE可能会发现很难调整和定制LLM以满足他们项目的特定需求。

此外，LLM的性能在很大程度上取决于训练数据的质量和相关性。如果预训练模型不适合特定领域或任务，简单地调用API可能会产生次优结果。缺乏知识来微调和优化这些模型的MLE可能会发现难以达到期望的性能水平。

  1. 依赖第三方服务： 构建严重依赖外部API的应用程序使开发人员容易受到价格、可用性和服务条款变化的影响。如果API提供商决定修改他们的产品，更新他们的价格结构或完全停止服务，整个应用程序可能会处于危险之中。

这种对第三方服务的依赖为开发人员创造了重大挑战。如果一个应用程序是围绕特定的LLM API构建的，而该API变得不可用或成本过高，开发人员可能被迫对他们的系统进行重大改造。如果开发人员缺乏基本ML知识，无法快速适应替代解决方案，这可能是一个耗时且成本高昂的过程。

此外，依赖外部API可能会引发关于数据隐私和安全的担忧。当将敏感数据发送到第三方服务进行处理时，开发人员必须仔细考虑潜在的风险，并确保有适当的安全措施。没有深入理解底层技术和数据处理的最佳实践，开发人员可能会无意中暴露他们的应用程序和用户的安全漏洞。

  1. 无法故障排除： 当LLM的性能或输出出现问题时，缺乏深入理解ML概念的开发商可能会发现自己无法诊断和解决问题。没有对底层机制的了解，他们只能依赖API提供商的支持或文档。

故障排除机器学习模型可能是一个复杂且迭代的过程。它需要对模型架构、训练过程和评估指标有扎实的理解。仅依赖API的MLE可能难以确定问题的根本原因，如过度拟合、欠拟合或数据偏差。他们可能没有工具或知识来执行有效的错误分析，解释模型预测，或实施适当的补救策略。

相比之下，具有强大基础知识的MLE可以以更系统和有效的方式处理故障排除。他们可以分析模型的行为，检查中间输出，并对调整超参数、修改架构或收集额外训练数据做出明智的决定。这种诊断和解决问题的能力对于构建健壮可靠的ML系统至关重要。

公司在炒作中的作用

重要的是要认识到像OpenAI和Google这样的公司有利益推动他们的LLM API。通过使这些强大的模型对大众可访问，他们的目标是扩大用户基础，收集宝贵的数据，并最终实现他们的产品的货币化。虽然这些公司无疑为机器学习领域做出了重大贡献，但他们的营销策略往往掩盖了基础知识和仅依赖API的局限性。

这些公司经常将他们的LLM API作为所有自然语言处理任务的灵丹妙药，推广其集成的便利性和可以实现的令人印象深刻的结果。他们展示引人注目的演示和案例研究，突出他们模型的强大功能，为开发人员创造了一种兴奋和潜力的感觉。

然而，这些推广中往往被低估的是拥有强大机器学习概念基础的重要性。营销材料可能没有强调仅依赖API的局限性或当开发商缺乏对底层技术的深入了解时可能出现的潜在陷阱。

此外，公司可能并不总是提供关于如何使用他们的API的最佳实践的全面指导，如数据预处理、模型评估或错误处理。没有这种指导，人们可能难以有效地使用API，并且可能不知道与围绕这些模型构建应用程序相关的潜在风险和挑战。

人们应该以批判性的眼光看待围绕LLM API的炒作。虽然这些API确实可以是强大的工具，但它们应该被视为对强大基础ML知识的补充，而不是替代。公司有责任在强调API的便利性的同时，推广基础学习的重要性，确保有抱负的MLE对机器学习概念有一个全面的理解。

强大ML基础知识的重要性

随着有抱负的MLE在他们的职业生涯中进步并寻求高级职位，强大的基础ML知识的重要性变得越来越明显。让我们探讨一下原因：

  1. 算法选择和设计： 高级MLE通常负责为特定任务选择最合适的算法并设计自定义模型架构。这需要对不同ML技术的优点和缺点有深入的理解，以及评估它们对给定问题领域的适用性的能力。

没有对ML概念的扎实掌握，在算法选择和模型设计方面做出明智的决定变得具有挑战性。高级MLE需要能够权衡不同方法的利弊，例如在深度学习和传统机器学习算法之间的选择，适当神经网络架构的选择，或域特定技术的应用，如迁移学习或小样本学习。

此外，设计有效的模型架构需要理解机器学习的底层数学和原理。高级MLE应该熟悉损失函数、优化算法和正则化技术，以及不同神经网络层和激活函数的复杂性。这种知识使他们能够对模型设计做出明智的决定，确保所选架构非常适合手头的任务，并且可以高效地训练。

  1. 模型优化： 为性能、效率和可扩展性优化模型是高级MLE的关键技能。这涉及到对超参数调整、正则化和模型压缩等技术的深入理解。

超参数调整是选择控制ML模型行为的各种参数的最佳值的过程。这可能包括学习率、批量大小、隐藏层数和激活函数等设置。有效的超参数调整需要对这些参数如何影响模型性能的理解，以及系统地探索超参数空间以找到最佳值组合的能力。

正则化技术，如L1和L2正则化、丢弃和提前停止，用于防止过度拟合并提高ML模型的泛化能力。高级MLE需要理解这些技术背后的原理，并了解如何在不同的场景中有效地应用它们。他们应该能够评估模型复杂性和泛化性能之间的权衡，并就使用适当水平的正则化做出明智的决定。

模型压缩技术，如修剪、量化和知识蒸馏，用于减少ML模型的尺寸和计算要求，同时保持其性能。高级MLE应该熟悉这些技术，并知道何时以及如何应用它们来优化模型，以便在资源受限的环境中部署，如移动设备或嵌入式系统。

  1. 研究和创新： 为机器学习领域的进步做出贡献需要对其底层原理有扎实的掌握。具有强大理论基础的高级MLE更有能力进行研究，提出新的方法，并在机器学习领域推动创新。

机器学习研究通常涉及探索新的架构、训练技术或优化算法。为了在这个领域做出有意义的贡献，高级MLE需要深入了解当前最先进的技术，并能够识别现有方法的差距或局限性。他们应该能够提出研究问题，设计实验，并使用严格的统计方法评估所提出解决方案的有效性