職位描述
作為邊端側(cè)大模型推理框架部署優(yōu)化高級工程師，負(fù)責(zé)將億級/十億級參數(shù)的大模型（LLM, VLM, Audio LM）部署到終端芯片平臺，并進行極致的性能與能效優(yōu)化。需精通從模型壓縮、核心算子優(yōu)化到運行時內(nèi)存管理的全棧技術(shù)，確保大模型在資源受限環(huán)境下，依然能提供流暢、穩(wěn)定的智能服務(wù)。
核心職責(zé)
1. 端側(cè)推理引擎深度定制與優(yōu)化：
? 主導(dǎo) vLLM、Ollama 等框架在 ARM CPU、NPU、GPU 等異構(gòu)計算平臺上的 移植、適配與深度優(yōu)化。重點攻克 注意力機制、KV Cache管理、解碼策略 在內(nèi)存受限下的高效實現(xiàn)。
? 針對終端特性，深度優(yōu)化或自研 高性能、低內(nèi)存占用的推理運行時，核心優(yōu)化方向包括：算子融合、計算圖優(yōu)化、靜態(tài)內(nèi)存規(guī)劃、Zero-Copy數(shù)據(jù)流。
? 集成并優(yōu)化 MLIR、TVM 等編譯器棧，實現(xiàn)面向終端芯片的自動調(diào)度與代碼生成，***化發(fā)揮專用加速器（NPU/DSP）性能。
2. 模型極限制壓縮與適配：
? 推動并落地前沿的 端側(cè)模型壓縮技術(shù)，包括但不限于：4/8-bit權(quán)重量化（AWQ， GPTQ）、激活值動態(tài)量化、稀疏化、知識蒸餾、模型剪枝。在精度與性能間取得***平衡。
? 建立端側(cè)模型的 自動化壓縮-部署-評估流水線，快速迭代不同芯片平臺上的最優(yōu)模型變體。
? 與算法團隊緊密合作，設(shè)計 硬件感知的端側(cè)模型架構(gòu)（如MobileLLM），從源頭優(yōu)化部署效率。
3. 系統(tǒng)集成與全棧性能調(diào)優(yōu)：
? 將優(yōu)化后的推理引擎無縫集成到終端操作系統(tǒng)中，處理復(fù)雜的多任務(wù)調(diào)度策略。
? 構(gòu)建端到端的性能分析與調(diào)試工具鏈，從應(yīng)用層、框架層到驅(qū)動層進行全棧性能剖析，定位瓶頸。
? 設(shè)計和實現(xiàn) 混合推理架構(gòu)（如端-云協(xié)同、大模型小模型協(xié)同），在復(fù)雜場景下動態(tài)分配計算負(fù)載。
任職要求（必要條件）
1. 教育背景：計算機科學(xué)、電子工程、通信工程等相關(guān)專業(yè)本科及以上學(xué)歷，碩士優(yōu)先。
2. 深厚的嵌入式與AI系統(tǒng)經(jīng)驗：
? 5年以上 嵌入式系統(tǒng)、移動端或邊緣側(cè)AI應(yīng)用開發(fā)與優(yōu)化經(jīng)驗。
? 精通 C/C++ 和 Python，具備出色的嵌入式編程、性能調(diào)優(yōu)和內(nèi)存調(diào)試能力。
? 深入理解 ARM體系架構(gòu)、內(nèi)存管理、多線程編程、硬件中斷與DMA。
3. 豐富的端側(cè)AI部署經(jīng)驗：
? 熟悉至少一種主流端側(cè)推理框架，并有深度優(yōu)化經(jīng)驗。
? 對 Transformer 模型結(jié)構(gòu)有清晰理解，有在端側(cè)部署相關(guān)模型的實際項目經(jīng)驗。
? 熟悉 模型量化工具和流程。
4. 硬件與芯片理解：熟悉主流終端芯片平臺（華為麒麟/昇騰、英偉達Orin/NX）的AI加速器（NPU/APU/GPU）架構(gòu)與編程模型（如OpenCL）。
優(yōu)先考慮條件
1. 有成功將 >1B參數(shù) 的大模型部署到汽車或機器人等終端設(shè)備并量產(chǎn)的完整經(jīng)驗。
2. 深入?yún)⑴c過 vLLM、Ollama、llama.cpp 等框架在ARM平臺的優(yōu)化或貢獻代碼。
3. 熟悉 TVM/MLIR 編譯棧，并有為自定義硬件后端開發(fā)的經(jīng)驗。