cVector向量計算一體機是一種面向億級以上向量計算場景的高性能向量存儲、計算一體化平臺，采用并行計算架構(gòu)，融合高密度混合服務(wù)硬件，實現(xiàn)對大規(guī)模向量數(shù)據(jù)的計算和比對，相較于通過GPU、向量數(shù)據(jù)庫進行向量計算，cVector向量計算一體機在入庫效率、計算性能方面優(yōu)勢突出，可廣泛應(yīng)用于人工智能大模型、機器學(xué)習(xí)、計算機視覺、自然語言處理等領(lǐng)域。
產(chǎn)品介紹
產(chǎn)品架構(gòu)
cVector向量計算一體機基于大數(shù)據(jù)分布式實時計算框架，結(jié)合定制化高密度計算硬件，實現(xiàn)大規(guī)模AI任務(wù)的分發(fā)與計算結(jié)果匯聚，保證計算任務(wù)執(zhí)行的高效和穩(wěn)定。其采用全量計算的方式，基于特征向量計算算法以及分布式集群處理資源調(diào)度技術(shù)，實現(xiàn)了海量特征庫條件下1：N對比任務(wù)的高效分解與并行處理，可將單個任務(wù)響應(yīng)效率提升到0.1秒級。對于通過向量數(shù)據(jù)庫軟件需要幾千個時鐘周期的向量計算，該一體機只需很少的時鐘周期即可完成。
產(chǎn)品特性
測試證明
以下是中國軟件評測中心對cVector向量計算一體機與3款主流向量數(shù)據(jù)庫在入庫速度、查詢速度、準(zhǔn)確性等維度進行的性能測試對比。
準(zhǔn)確性
在“cVector 向量計算一體機 V1.0”、向量數(shù)據(jù)庫A、向量數(shù)據(jù)庫B和向量數(shù)據(jù)庫C中存儲相同的 1000 萬條的 256 維向量數(shù)據(jù)，分別查詢與目標(biāo)向量的歐氏距離最短的 10 條向量，對比結(jié)果顯示各自返回的 10 條向量與目標(biāo)向量的距離值均相同。
測試結(jié)論
“向量計算數(shù)據(jù)庫驗證平臺 V1.0”性能效率符合《向量計算數(shù)據(jù)庫驗證平臺測試需求V1.0》的相關(guān)要求，在現(xiàn)場測試過程中，系統(tǒng)運行穩(wěn)定，通過了中國軟件評測中心（工業(yè)和信息化部軟件與集成電路促進中心）的單項性能測試。”
根據(jù)測試報告結(jié)果，cVector向量計算一體機在千萬級特別是億級以上規(guī)模的入庫和查詢等方面具有顯著的性能優(yōu)勢，可幫助提高大模型推理的服務(wù)性能和服務(wù)質(zhì)量，并能明顯降低其基礎(chǔ)設(shè)施建設(shè)成本，幫助類ChatGPT等人工智能企業(yè)以更優(yōu)的性價比解決算力不足的問題。
技術(shù)規(guī)格
應(yīng)用場景
基于硬件的cVector向量計算一體機，實現(xiàn)了高效的向量數(shù)據(jù)存儲、索引和比對，與向量數(shù)據(jù)庫相比，cVector向量計算一體機入庫速度和查詢速度更快，處理規(guī)模更大，檢索結(jié)果更為精準(zhǔn)，可廣泛用于大語言模型、自然語言理解、大規(guī)模人臉識別等多種場景。
大語言模型支撐
cVector向量計算一體機將數(shù)據(jù)轉(zhuǎn)化為向量進行保存與搜索，為大語言模型的訓(xùn)練和推理提供高效的相似性搜索能力，具備短時記憶和定向等功能，在不進行推理的情況下直接返回結(jié)果，幫助大模型減輕訪問壓力、提升實時理解數(shù)據(jù)能力、提高輸出準(zhǔn)確性、提升服務(wù)質(zhì)量、過濾敏感內(nèi)容等，有助于解決當(dāng)前同等投入規(guī)模情況下，僅依靠GPU不足以支撐大模型推理所需算力的難題。
文本相似度計算
cVector向量計算一體機根據(jù)向量的相似度排序返回與檢索對象相近的結(jié)果，支持基于文本的快速比對。針對千萬級甚至上億量級的文本數(shù)據(jù)庫，結(jié)果返回速率達到0.1秒級，可廣泛應(yīng)用于資料查詢、專利搜索、電子病歷檢索、法律文獻檢索、學(xué)術(shù)文獻檢索、論文查重等多種場景。
圖像視頻檢索
cVector向量計算一體機能夠支持多種深度學(xué)習(xí)模型，具備對海量圖片和視頻的高性能分析檢索能力，通過訓(xùn)練可以精準(zhǔn)地提取圖片、視頻中的特征并進行分類、打標(biāo)簽等應(yīng)用，從而輕松實現(xiàn)圖片檢索、圖片去重、視頻去重、以圖搜圖等功能。
音頻數(shù)據(jù)處理
cVector向量計算一體機支持對相關(guān)音頻切片進行向量化處理并通過向量距離的計算，判斷其表達的含義，實現(xiàn)對語音、音樂等音頻數(shù)據(jù)的處理，可廣泛應(yīng)用于語音識別、語音驗證、智能翻譯、會議轉(zhuǎn)錄等多個場景。
智能問答
cVector向量計算一體機支持快速入庫和存儲自然語言處理語義分析模型的語義特征向量數(shù)據(jù)，支持快速比對問題庫的向量和提問問題的語義特征向量，通過向量特征的匹配實現(xiàn)智能問答，支持智能客服、智能語音助手、醫(yī)療輔助問答等應(yīng)用場景。
個性化推薦
cVector向量計算一體機能夠為購物網(wǎng)站、視頻網(wǎng)站、新聞網(wǎng)站的推薦系統(tǒng)進行賦能，將購物網(wǎng)站、視頻網(wǎng)站和新聞網(wǎng)站的海量數(shù)據(jù)轉(zhuǎn)化為向量后進行快速比對，實時分析用戶的偏好和行為模式，精準(zhǔn)地為用戶推薦個性化的商品、視頻和新聞內(nèi)容，提供更加智能和準(zhǔn)確的推薦服務(wù)。
