九鼎動態
2023 SUMMARY
01
近日,九鼎創展技術團隊在邊緣計算領域取得重大突破,成功將DeepSeek-R1-Disti11-Qwen系列模型移植到瑞芯微(Rockchip)RK3576和RK3588開發板上,并實現了高效的推理性能。這一成果標志著九鼎創展在邊緣AI領域的進一步深耕,為智能硬件開發者提供了更強大的AI算力支持。
DeepSeek模型:輕量化與高性能的完美結合
DeepSeek-R1-Disti11-Qwen系列模型是專為邊緣計算場景設計的輕量化AI模型,包含1.5B和7B兩種規模,分別適用于不同算力和內存的硬件平臺。九鼎創展技術團隊通過優化模型結構與RKNN推理引擎的深度融合,成功在RK3576和RK3588開發板上實現了高效的模型部署。
模型性能亮點
DeepSeek-R1-Disti11-Qwen-1.5B
模型文件大小:2GB
內存要求:4GB
RK3588推理速度:12.92 Tokens/s
RK3576推理速度:8.36 Tokens/s
DeepSeek-R1-Disti11-Qwen-7B
模型文件大小:8GB
內存要求:16GB
RK3588推理速度:3.13 Tokens/s
RK3576推理速度:NC(未提供)
從性能數據可以看出,1.5B模型在RK3588上表現出色,推理速度高達12.92 Tokens/s,即使在資源受限的RK3576開發板上也能達到8.36 Tokens/s,充分滿足了邊緣設備對實時性和高效性的需求。而7B模型則更適合對精度要求較高的場景,盡管推理速度稍低,但在RK3588上仍能穩定運行。
RK3576與RK3588:邊緣AI的強力引擎
作為瑞芯微旗下兩款高性能處理器,RK3576和RK3588憑借其強大的AI算力和能效比,成為邊緣計算領域的明星芯片。九鼎創展技術團隊充分利用這兩款芯片的硬件優勢,通過RKNN工具鏈對DeepSeek模型進行了深度優化,實現了模型的高效推理。
RK3588:憑借其強大的NPU和CPU性能,在1.5B模型上實現了12.92 Tokens/s的推理速度,展現了其在邊緣AI場景中的卓越能力。
RK3576:雖然算力稍遜于RK3588,但在1.5B模型上仍能實現8.36 Tokens/s的推理速度,足以滿足大多數邊緣設備的AI需求。
應用場景:賦能千行百業
九鼎創展此次成功移植DeepSeek模型,為邊緣AI應用開辟了更多可能性。以下是一些典型的應用場景:
智能安防:在邊緣設備上實時運行DeepSeek模型,實現人臉識別、行為分析等功能,提升安防系統的響應速度與準確性。
工業質檢:利用7B模型的高精度特性,在生產線邊緣設備上進行缺陷檢測,大幅提升質檢效率。
智能語音助手:在嵌入式設備上運行1.5B模型,實現低延遲的語音識別與自然語言處理,為用戶提供流暢的交互體驗。
自動駕駛:在車載邊緣計算設備上部署DeepSeek模型,實現實時環境感知與決策,提升行車安全性。
九鼎創展將繼續深耕邊緣AI領域,推動更多AI模型在邊緣設備上的落地應用。未來,我們將進一步優化模型性能,拓展更多應用場景,為智能硬件開發者提供更全面的技術支持。
關注九鼎創展公眾號,了解更多邊緣AI技術動態!
九鼎創展
—— 讓AI觸手可及,賦能智能未來!
掃碼關注我們
聯系我們
電話:18076422813
郵箱:[email protected]
官網:http://www.huyanwannianqing.com.cn/
版權所有:深圳市九鼎創展科技有限公司 粵ICP備11028681號-1 Copyright © 2016 All Rights Reserved.