近期,愛分析發(fā)布了《2024愛分析·AI Agent開發(fā)管理平臺市場廠商評估報告:神州問學(xué)》。愛分析認(rèn)為,AI Agent市場從技術(shù)架構(gòu)角度可以劃分為基礎(chǔ)層、平臺層和應(yīng)用層。基礎(chǔ)層是指支持AI gent的基礎(chǔ)環(huán)境,平臺層是基礎(chǔ)層和應(yīng)用層之間的“橋梁”,有利于大模型在各種實際場景以AI Agent的形態(tài)快速落地,包括AI Agent開發(fā)管理平臺、LLMOps工具等。應(yīng)用層是指各類場景的AI Agent。本評估報告聚焦AI Agent開發(fā)管理平臺市場,愛分析遴選出具備成熟解決方案和成功案例的神州問學(xué)進(jìn)行能力評估,供企業(yè)做廠商選型時作為參考。
01 研究范圍定義
大模型浪潮席卷全球,AI Agent作為這股浪潮中的新星正在取代Copilot,成為大模型應(yīng)用的主流形態(tài)之一,以其驚人的速度和影響力重塑科技和商業(yè)的版圖。
AI Agent 是指以大模型為驅(qū)動,具有自主理解感知、規(guī)劃、記憶和使用工具的能力,能自動化執(zhí)行的智能體。隨著大模型能力增強(qiáng)以及RAG等技術(shù)的成熟,AI Agent的能力得到了質(zhì)的飛躍。這些模型賦予了AI Agent更接近人類的思維能力,再聯(lián)動各類工具和組件,使得AI Agent在處理復(fù)雜任務(wù)時表現(xiàn)出前所未有的靈活性和效率。從智能助手、個性化推薦系統(tǒng)到自動化客戶服務(wù),AI Agent的應(yīng)用案例層出不窮,它們在各行各業(yè)中展現(xiàn)出巨大的潛力和價值。
愛分析認(rèn)為,AI Agent市場從技術(shù)架構(gòu)角度可以劃分為基礎(chǔ)層、平臺層和應(yīng)用層?;A(chǔ)層是指支持AI gent的基礎(chǔ)環(huán)境,包括大模型、算力基礎(chǔ)設(shè)施和數(shù)據(jù)基礎(chǔ)設(shè)施。平臺層是基礎(chǔ)層和應(yīng)用層之間的“橋梁”,有利于大模型在各種實際場景以AI Agent的形態(tài)快速落地,包括AI Agent開發(fā)管理平臺、LLMOps工具等。應(yīng)用層是指各類場景的AI Agent,既有金融、能源、汽車等行業(yè)場景的AI Agent,也有業(yè)務(wù)流程自動化、數(shù)據(jù)分析、協(xié)同辦公等通用場景的AI Agent。AI Agent市場劃分詳見下圖。
本評估報告聚焦AI Agent開發(fā)管理平臺市場,愛分析遴選出具備成熟解決方案和成功案例的廠商神州問學(xué)進(jìn)行能力評估,供企業(yè)做廠商選型時作為參考。
02 AI Agent開發(fā)管理平臺市場分析
市場定義:
AI Agent開發(fā)管理平臺是以大模型為基礎(chǔ),內(nèi)置多樣化工具、插件,具備AI Agent開發(fā)、測試、發(fā)布、集成、運(yùn)維、安全等一系列能力的全生命周期平臺。平臺可以快速搭建具備客戶特征的AI Agent,降低大模型應(yīng)用開發(fā)門檻。
甲方終端用戶:
大型企業(yè)的IT部門、業(yè)務(wù)部門
甲方核心需求:
AI Agent開發(fā)管理平臺成為企業(yè)AI戰(zhàn)略的神經(jīng)中樞,肩負(fù)著全員賦能與智能化升級的雙重使命。企業(yè)高層的“自上而下”策略,不僅確立了AI在企業(yè)中的核心地位,更明確了以技術(shù)提升全員效率和創(chuàng)新能力的目標(biāo)。CIO們在這一過程中,需要的不僅是技術(shù)平臺,更是一個能夠提供深度應(yīng)用規(guī)劃和初期開發(fā)的全面合作伙伴,以確保AI技術(shù)在企業(yè)中的有效落地和價值實現(xiàn)。
• AI Agent開發(fā)管理平臺是企業(yè)AI戰(zhàn)略的核心承載與全員賦能引擎。大型企業(yè)正積極探索其落地實施的有效途徑,而“自上而下”的推進(jìn)策略已成為眾多企業(yè)的共同選擇。這種策略強(qiáng)調(diào)由企業(yè)高層領(lǐng)導(dǎo)牽頭,自頂向下地制定和執(zhí)行AI戰(zhàn)略。其中,"全員賦能"不僅是一項核心目標(biāo),更是衡量CIO工作績效的關(guān)鍵指標(biāo)之一。為了實現(xiàn)這一目標(biāo),CIO們正尋求AI Agent開發(fā)管理平臺的支撐作用,旨在為每位員工配備個性化的AI助手,以技術(shù)賦能全員,激發(fā)組織潛力。
AI Agent開發(fā)管理平臺的建立,并非單純追求技術(shù)的應(yīng)用,而是深挖AI在業(yè)務(wù)層面創(chuàng)造的實際價值。盡管不同企業(yè)對業(yè)務(wù)價值的定義各有側(cè)重,但普遍關(guān)注的三大價值領(lǐng)域可以概括如下:
1) 長尾場景的智能優(yōu)化:企業(yè)在日常運(yùn)營中會遇到大量特定的長尾場景,這些場景雖小,卻直接影響員工的工作效率。AI Agent通過智能化處理,顯著提升員工的工作效率,使他們在不增加工作量的情況下,能夠高效處理更多任務(wù)。
2) 業(yè)務(wù)流程的效率提升:以某二手車交易企業(yè)為例,通過構(gòu)建AI Agent,用戶可以利用自然語言交互的方式,大幅縮短選購流程,提高用戶體驗,加速交易進(jìn)程。
3) 員工能力的專業(yè)升級:以合同審核為例,傳統(tǒng)上這一高風(fēng)險工作需要專業(yè)知識豐富的人員來完成。AI Agent的引入,使得合同審核流程自動化成為可能,降低了對員工專業(yè)技能的門檻,優(yōu)化了人力資源配置,同時減少了對高級別專業(yè)人才的依賴。
• 企業(yè)追求的不只是AI Agent平臺,更需配套的應(yīng)用規(guī)劃與初期應(yīng)用開發(fā)。在大模型技術(shù)的落地之旅中,企業(yè)不僅是探索者,更渴望找到能夠并肩前行的"良師益友"。對于AI Agent開發(fā)管理平臺的引入,企業(yè)期望得到的不僅是一套軟件系統(tǒng),而是希望平臺廠商能成為其應(yīng)用規(guī)劃和實施的得力伙伴。在這一過程中,企業(yè)迫切需要解決的問題涵蓋了應(yīng)用場景的選擇、優(yōu)先級排序、以及各場景預(yù)期的投資回報率(ROI)等關(guān)鍵咨詢領(lǐng)域。咨詢服務(wù)的核心,在于幫助企業(yè)明確AI Agent的應(yīng)用藍(lán)圖,識別和評估那些最需要智能自動化的業(yè)務(wù)場景,并制定出切實可行的實施路線圖。這不僅涉及到技術(shù)層面的規(guī)劃,更包括業(yè)務(wù)流程的梳理和優(yōu)化。
在咨詢服務(wù)的基礎(chǔ)上,企業(yè)同樣需要廠商提供的應(yīng)用開發(fā)服務(wù),以確保平臺的落地和應(yīng)用生態(tài)的初步構(gòu)建。在初期采購平臺時,企業(yè)期望廠商能夠示范性地提供1-2個定制化的AI Agent,這不僅驗證了平臺的技術(shù)實力和業(yè)務(wù)適配性,也展現(xiàn)了AI技術(shù)在實際工作場景中的價值和潛力。然而,企業(yè)的最終目標(biāo)是建立起自主可控的AI應(yīng)用生態(tài)。因此,在首批AI Agent開發(fā)之后,企業(yè)將逐步過渡到由內(nèi)部IT和業(yè)務(wù)團(tuán)隊自行開發(fā)和維護(hù)AI Agent的模式。這要求平臺不僅要提供強(qiáng)大的技術(shù)支撐,還需配備相應(yīng)的培訓(xùn)和文檔資源,確保企業(yè)團(tuán)隊能夠順利接管AI Agent的開發(fā)和迭代工作。
綜上所述,企業(yè)對AI Agent開發(fā)管理平臺的期待,已經(jīng)超越了單純的技術(shù)采購,而是尋求一個全面的合作伙伴,共同規(guī)劃和培育企業(yè)的AI應(yīng)用生態(tài),實現(xiàn)業(yè)務(wù)流程的智能化轉(zhuǎn)型。
廠商能力要求:
廠商應(yīng)致力于構(gòu)建一個既技術(shù)先進(jìn)又用戶友好的平臺,確保業(yè)務(wù)人員能夠輕松上手并快速開發(fā)個性化AI應(yīng)用。這要求廠商提供無代碼和低代碼的配置方式,以及全代碼配置選項,滿足不同技術(shù)背景員工的需求。廠商需集成包括RAG技術(shù)在內(nèi)的先進(jìn)企業(yè)場景增強(qiáng)技術(shù),以確保大模型在To B領(lǐng)域的有效應(yīng)用。同時,構(gòu)建一個功能豐富的公共插件中心和模板庫,以支持AI Agent的能力擴(kuò)展和快速構(gòu)建企業(yè)級應(yīng)用。此外,廠商應(yīng)配備專業(yè)的咨詢服務(wù)團(tuán)隊和AI Agent開發(fā)團(tuán)隊,深入企業(yè)進(jìn)行需求分析和應(yīng)用場景規(guī)劃,確保企業(yè)能夠精準(zhǔn)投資并有效落地AI應(yīng)用。開發(fā)團(tuán)隊則負(fù)責(zé)將規(guī)劃轉(zhuǎn)化為實際的AI Agent,展示平臺的技術(shù)實力和業(yè)務(wù)價值。
• AI Agent開發(fā)管理平臺需要便于業(yè)務(wù)人員上手應(yīng)用。為實現(xiàn)全員賦能的愿景,企業(yè)對AI Agent開發(fā)管理平臺的要求不僅是技術(shù)先進(jìn),更需界面友好,易于業(yè)務(wù)人員的使用。IT部門的專業(yè)技術(shù)力量固然重要,但業(yè)務(wù)部門的廣泛參與才是實現(xiàn)AI普及化的關(guān)鍵。因此,平臺的設(shè)計必須考慮到業(yè)務(wù)人員的操作習(xí)慣和技術(shù)水平,提供低門檻、高效率的開發(fā)環(huán)境。
AI Agent開發(fā)管理平臺應(yīng)提供自然語言對話和一鍵創(chuàng)建功能,使得沒有編程基礎(chǔ)的業(yè)務(wù)人員也能輕松上手。平臺的無代碼和低代碼配置方式,通過簡化的拖拽操作,讓員工能夠快速構(gòu)建和部署業(yè)務(wù)應(yīng)用,無需編寫代碼。這種直觀的操作方式大大降低了技術(shù)門檻,使得業(yè)務(wù)人員能夠根據(jù)自己的業(yè)務(wù)需求,自主開發(fā)個性化的AI解決方案。
同時,為了滿足不同技術(shù)背景的企業(yè)需求,平臺還應(yīng)提供全代碼配置方式,為具備一定編程能力的員工提供更大的自主性和靈活性。這種方式支持開發(fā)更復(fù)雜的AI應(yīng)用,滿足企業(yè)在特定場景下對高級功能的需求。
• AI Agent開發(fā)管理平臺:集成RAG技術(shù)、插件生態(tài)與模板庫的強(qiáng)強(qiáng)聯(lián)合。僅依靠大模型構(gòu)建AI Agent,更適合To C場景,例如寫文章、做摘要等。但是,此方式難以應(yīng)用于To B場景。平臺必須融合先進(jìn)的RAG技術(shù)以及多模態(tài)存儲、向量化處理、上下文理解增強(qiáng)等企業(yè)場景增強(qiáng)技術(shù),以實現(xiàn)大模型在To B領(lǐng)域的有效落地。RAG技術(shù)在其中扮演著至關(guān)重要的角色。
AI Agent的能力擴(kuò)展在很大程度上依賴于其“手腳”——插件。平臺應(yīng)構(gòu)建一個豐富的公共插件中心,提供覆蓋新聞搜索、生產(chǎn)力工具、圖像理解等多功能插件,以適應(yīng)不同行業(yè)和場景的需求。同時,支持企業(yè)用戶根據(jù)自身需求,創(chuàng)建自定義插件,通過參數(shù)配置快速調(diào)用現(xiàn)有的API能力,從而實現(xiàn)AI Agent功能的個性化擴(kuò)展。
為了進(jìn)一步提升AI Agent的構(gòu)建效率和質(zhì)量,平臺應(yīng)配備豐富的應(yīng)用場景模板庫。這些模板應(yīng)預(yù)置多種企業(yè)級應(yīng)用場景,如法律咨詢、人力資源管理、營銷自動化、風(fēng)險控制等,使企業(yè)能夠在極短的時間內(nèi)快速搭建起符合特定業(yè)務(wù)需求的AI應(yīng)用。
• 廠商應(yīng)具備大模型落地規(guī)劃咨詢與AI Agent開發(fā)團(tuán)隊。企業(yè)在采購AI Agent開發(fā)管理平臺時,往往會要求廠商提供應(yīng)用規(guī)劃類的咨詢服務(wù)和應(yīng)用開發(fā)服務(wù)。因此,廠商必須構(gòu)建一支既精通大模型落地規(guī)劃咨詢,又具備強(qiáng)大AI Agent開發(fā)能力的專業(yè)團(tuán)隊。
咨詢服務(wù)團(tuán)隊負(fù)責(zé)深入企業(yè),通過專業(yè)的分析和洞察,幫助企業(yè)識別那些既具有高價值又具備高可行性的應(yīng)用場景。他們的目標(biāo)是為企業(yè)描繪出一條清晰的AI應(yīng)用落地路徑,確保企業(yè)投資的每一步都精準(zhǔn)而有效。通過咨詢服務(wù),企業(yè)能夠明確自身的需求和目標(biāo),為AI Agent的開發(fā)和管理奠定堅實的基礎(chǔ)。
與此同時,AI Agent開發(fā)團(tuán)隊承擔(dān)著將規(guī)劃轉(zhuǎn)化為現(xiàn)實的責(zé)任。他們利用自身的技術(shù)專長,幫助企業(yè)開發(fā)首批AI Agent,快速展示平臺的技術(shù)實力和業(yè)務(wù)價值。這不僅為企業(yè)帶來了立竿見影的效益,也為后續(xù)的內(nèi)部開發(fā)工作提供了寶貴的經(jīng)驗和模板。
入選標(biāo)準(zhǔn)說明:
1. 符合AI Agent開發(fā)管理平臺市場分析的廠商能力要求;
2. 近一年廠商在該市場至少服務(wù)1家企業(yè)。
03 廠商評估:神州問學(xué)
廠商介紹:
神州數(shù)碼集團(tuán)股份有限公司(簡稱:神州數(shù)碼)在2023年推出AI原生賦能平臺——神州問學(xué),旨在為企業(yè)提供模型、算力、數(shù)據(jù)和應(yīng)用的連接能力,它既是一站式企業(yè)大模型集成平臺,也是企業(yè)的大模型運(yùn)營平臺。發(fā)展至今,神州問學(xué)已落地金融、能源、汽車、醫(yī)療、消費零售、政務(wù)等多個領(lǐng)域。
產(chǎn)品服務(wù)介紹:
神州問學(xué)是企業(yè)級一站式GenAl集成平臺,致力于打通模型、數(shù)據(jù)、應(yīng)用和算力四大要素,專注于企業(yè)大模型落地的全生命周期過程管理,有效應(yīng)對大型應(yīng)用落地中的各種挑戰(zhàn)。
同時,神州問學(xué)提供了多云多語言支持,滿足企業(yè)多樣化的業(yè)務(wù)需求,幫助企業(yè)以快速且低成本的方式構(gòu)建大模型應(yīng)用。平臺內(nèi)含八款大模型應(yīng)用,包括慧閱讀、慧解析、慧回答、慧寫作、慧繪圖、慧翻譯、慧朗讀和慧互動,這些應(yīng)用能夠助力企業(yè)在不同場景下實現(xiàn)智能化升級和業(yè)務(wù)創(chuàng)新。
廠商評估:
神州問學(xué)是涵蓋軟件與硬件的一站式解決方案,具備算力優(yōu)化、模型供應(yīng)、場景增強(qiáng)和應(yīng)用構(gòu)建四大優(yōu)勢。神州問學(xué)通過專業(yè)的算力設(shè)計服務(wù),有效降低企業(yè)在高端GPU資源上的支出。依托深厚的供應(yīng)商關(guān)系,平臺提供全面、新穎且價格優(yōu)惠的大模型供應(yīng)。結(jié)合企業(yè)場景增強(qiáng)技術(shù),確保大模型在To B場景中的實用性和落地能力。此外,神州問學(xué)提供多樣化的配置方式和豐富的應(yīng)用場景模板,使企業(yè)能夠快速搭建并定制化業(yè)務(wù)應(yīng)用。
• 專注算力設(shè)計與資源管理,神州問學(xué)為企業(yè)節(jié)約算力支出。在當(dāng)前高端GPU市場供應(yīng)緊張、價格持續(xù)高位的背景下,企業(yè)在部署大型模型時面臨著成本控制的挑戰(zhàn)。神州問學(xué)通過專業(yè)的算力設(shè)計服務(wù),幫助企業(yè)在保證性能的同時,實現(xiàn)成本效益的最大化。該團(tuán)隊專注于為企業(yè)提供定制化的算力解決方案,以平衡性能需求與成本支出。
神州問學(xué)所提供的算力管理功能,能夠?qū)崿F(xiàn)資源的統(tǒng)一管理和動態(tài)分配,這不僅提高了資源使用效率,也為企業(yè)節(jié)約了可觀的算力成本。通過這種高效的資源調(diào)度,企業(yè)能夠更加靈活地應(yīng)對不同業(yè)務(wù)場景下的需求波動。
此外,神州問學(xué)還針對企業(yè)對算力的多樣化需求,提供了靈活的部署方案。無論是公有云還是私有云部署,企業(yè)都可以根據(jù)自己的業(yè)務(wù)特點和安全要求,選擇最合適的部署模式。同時,平臺還提供了包括國際品牌如英偉達(dá)的算力資源,以及符合國內(nèi)信創(chuàng)標(biāo)準(zhǔn)的算力選項,確保企業(yè)能夠在全球化和本土化之間找到最佳平衡點。
• 依托深厚供應(yīng)商關(guān)系,神州問學(xué)打造“全、新、惠”模型供應(yīng)能力。憑借20余年的行業(yè)積累,神州數(shù)碼已與3萬余家生態(tài)伙伴建立了深厚的合作關(guān)系。這一龐大的合作伙伴網(wǎng)絡(luò)為神州問學(xué)提供了強(qiáng)大的模型供應(yīng)能力,具備"全、新、惠"三大特點。
首先,"全"體現(xiàn)在神州問學(xué)對主流供應(yīng)商如阿里百煉、百度千帆、智譜、百川、OpenAI等的大模型的廣泛適配。這種全面的兼容性確保企業(yè)能夠快速地選擇合適的大模型,滿足其多樣化的業(yè)務(wù)需求。
其次,"新"反映了神州問學(xué)在大模型更新迭代方面的敏捷性。面對大模型技術(shù)的快速發(fā)展,神州問學(xué)能夠迅速引入并上線最新的模型,幫助企業(yè)把握技術(shù)前沿,提升競爭力。
最后,"惠"則凸顯了神州問學(xué)在價格談判方面的優(yōu)勢。通過與供應(yīng)商的緊密合作,神州問學(xué)能夠為企業(yè)爭取到更優(yōu)惠的價格,降低企業(yè)在大模型應(yīng)用上的經(jīng)濟(jì)負(fù)擔(dān)。
• 企業(yè)場景增強(qiáng),神州問學(xué)讓大模型在toB場景真正落地。僅依靠大模型構(gòu)建應(yīng)用,更適合To C場景,例如寫文章、做摘要等。但是,此方式難以應(yīng)用于To B場景。
神州問學(xué)通過深耕企業(yè)場景增強(qiáng)技術(shù),成功實現(xiàn)了大模型在To B場景的落地應(yīng)用。具體而言,企業(yè)場景增強(qiáng)相關(guān)技術(shù)包括RAG,多模態(tài)存儲、向量化,上下文理解增強(qiáng),多輪會話增強(qiáng)、推理增強(qiáng)、人機(jī)會話增強(qiáng),多路召回等。
• 20+企業(yè)級應(yīng)用場景模板&3種配置方式,神州問學(xué)讓企業(yè)便捷搭建業(yè)務(wù)應(yīng)用。神州問學(xué)在搭建業(yè)務(wù)應(yīng)用方面具備四個亮點。
1) 靈活的配置方式:神州問學(xué)提供無代碼、低代碼、全代碼三種配置方式,滿足不同技術(shù)背景的企業(yè)需求。無代碼和低代碼配置方式通過直觀的拖拽操作,使企業(yè)能夠快速搭建業(yè)務(wù)應(yīng)用;而全代碼配置方式則賦予企業(yè)更大的自主性,支持開發(fā)更復(fù)雜的AI應(yīng)用。
2) 集成的企業(yè)級能力:平臺集成了ASR(自動語音識別)、TTS(文本到語音轉(zhuǎn)換)、OCR(光學(xué)字符識別)等關(guān)鍵技術(shù),支持二次開發(fā)和定制化開發(fā),確保與企業(yè)現(xiàn)有業(yè)務(wù)系統(tǒng)的無縫融合。
3) 豐富的應(yīng)用場景模板:神州問學(xué)預(yù)置了20多個企業(yè)級應(yīng)用場景模板,覆蓋法律、人力資源、營銷、風(fēng)險控制等領(lǐng)域,使企業(yè)最快在5分鐘左右快速構(gòu)建企業(yè)級應(yīng)用。
4) 開箱即用的模型應(yīng)用:神州問學(xué)提供八大模型應(yīng)用,包括慧閱讀、慧解析、慧回答、慧寫作、慧繪圖、慧翻譯、慧朗讀、慧互動等,實現(xiàn)即插即用。例如,天士力醫(yī)藥基于慧閱讀開發(fā)了智能培訓(xùn)機(jī)器人,通過模擬銷售情境與初級醫(yī)藥代表進(jìn)行互動對話,實時校驗并矯正銷售話術(shù),模擬醫(yī)生詢證產(chǎn)品情景,有效提升了醫(yī)藥代表的專業(yè)應(yīng)答能力。
典型客戶:
天士力醫(yī)藥、某國際知名食品飲料企業(yè)、某省煙草局
04 入選證書