2026 年“数据要素×”大赛 · 参赛项目
数据合规说明:本项目使用的录播视频为学校智慧教室系统自动采集的教师授课主画面(黑板+PPT),基本不涉及学生画面,数据主要用于内容理解与知识抽取,数据合规风险较低。
教务处 学工部 招生办 就业中心 人事处 科研处 信息中心 各学院Qwen3-VL(帧解析 + OCR + 行为理解)+ ASR 语音转写 → 时序对齐
Neo4j 四层知识图谱:课程体系 → 知识体系 → 技能体系 → 岗位能力体系PRAG 静态固化(低频变更) + RAG 动态检索(高频更新)原生多模态架构:市面上多模态方案大多采用“独立视觉编码器+大语言模型”的拼接架构。本项目基座模型Gemma 4 12B采用无编码器统一架构,将原始图像像素块与音频帧直接映射至语言模型嵌入空间,由统一解码器处理所有模态,文本、图像、音频、视频在统一表征空间中原生融合,不存在模态拼接带来的信息损耗。
轻量化验证:已在本地笔记本(NVIDIA GTX 1080,8GB显存)上通过Ollama完成Gemma模型的初步部署测试,验证了模型在消费级硬件上的运行可行性。正式部署将采用GGUF Q4_K_M量化方案,预期推理速度不低于8 token/s。
核心观点:西电慧通解决的是“有没有AI”的问题,本项目解决的是“职业本科能不能用得起、用得好”的问题。慧通在广度,我们在深度。两者是互补关系,不是竞争关系。
答辩话术:西电已经证明了这个赛道有价值,我们证明了职业本科也有自己的专属方案。西电慧通用广度覆盖全学段,本项目用深度解决理实一体化这个具体场景。
28个案例 · 14个赛道 · 完整清单
最终定名:《科学数据×职业本科轻量化多模态大模型》
全国现有职业本科院校124所、高职院校1540所,绝大多数学校已建成智慧教室与录播系统,积累了大量教学视频资源。这些资源录制后存档,难以检索、难以利用,无法转化为可服务于教学的数据资产。职业本科“理实一体化”教学模式要求理论讲授与实训操作深度融合,但现有教学资源管理和利用方式无法支撑这一模式的数字化升级。
2026年4月,教育部等五部门印发《“人工智能+教育”行动计划》,明确要求职业教育阶段“推动传统产业相关专业的智能转型”。陕西省教育厅提出在职业院校建成“AI+专业群”和虚拟仿真实训基地。职业本科院校普遍面临“有数据、有需求、无方案”的困境:现有AI教学方案多依赖高端算力,与院校实际条件不匹配;通用大模型在理实融合场景中适配性差。
核心矛盾:投入了50亿+建设智慧教室,录播视频使用率却不足5%——数据资产严重沉睡。
本项目构建轻量化多模态大模型基座,单卡16GB显存本地化私有部署,面向全校提供标准化API接口,预期支撑四类场景。
以API形式向各业务系统提供智能服务,调用模型实现内容理解、智能问答、多模态检索。支持文字、语音、视频、文件多种输入。实现集约化部署与全校复用。
模型建立“知识点”与“操作步骤”双向语义关联。教师可分析课堂讲授与实训演示对应关系;学生可通过自然语言提问获取理论依据与操作指导。
逾万小时录播视频缺乏有效治理。模型对视频结构化解析,转化为可检索、可问答、可分析的数字化知识资产,支撑教师备课、学生自学与教学管理。
打通教务、学工、招生就业、师资、科研等数据,以大模型为分析引擎,支撑招生质量分析、学业预警、就业趋势预测、专业建设评估,推动学校管理从经验驱动向数据驱动转型。
场景创新:公开文献中针对职业本科“理实一体化”教学场景的轻量化多模态大模型研究较少。现有国家级项目聚焦全学段通用场景和基础教育场景。本项目将职业本科“理论讲授+实训操作”核心特征转化为可计算知识结构并注入模型参数,与现有方案形成差异。
架构创新:提出“静态参数固化+动态视频检索”双轨知识增强架构。PRAG技术将低频变更的理实映射知识固化至模型权重,提升推理效率;向量检索库搭建RAG动态检索链路,实现课堂片段精确定位与溯源,兼顾推理性能与知识库可扩展性。
方法创新:引入MoE-LoRA学院级专家架构,为各学院独立训练LoRA专家模块,推理时按课程标签路由激活对应专家,实现学院级知识隔离与按需动态加载。
原生多模态创新:市面上多模态方案大多采用“独立视觉编码器+大语言模型”的拼接架构,信息经过多次投影转换存在损耗。本项目基座模型Gemma 4 12B采用无编码器统一架构,将原始图像像素块与音频帧直接映射至语言模型嵌入空间,由统一解码器处理所有模态,三种模态共享同一套权重和表征空间。一次QLoRA即可完成全部模态微调,全双工语音对话无需外挂ASR模块,技术路线更简洁、信息传递更完整。
数据基础扎实:录播系统积累逾万小时教学视频,涵盖全部学院,配套教材、实训指导书、课程标准齐全。已打通全校核心部门数据,形成2019年至今6年办学全链条数据,覆盖招生、培养、实训、就业、职业发展全周期。
技术路线成熟:基座模型采用Google DeepMind 2026年6月发布的Gemma 4 12B,16GB显存即可本地运行。采用GGUF Q4_K_M量化、QLoRA微调、MoE-LoRA分域专家、PRAG知识注入、DPO偏好对齐、RAG动态检索,以开源工具链为基础,结合自主研发的标注规范与训练流程,具备工程可行性。
轻量化部署:单卡16GB显存可完成推理与微调,不依赖A100。已在本地笔记本(GTX 1080,8GB显存)上通过Ollama完成Gemma模型初步测试,验证了消费级硬件的可行性。全部模块本地化部署,数据校内闭环处理。
需求普适:全国124所职业本科院校及1540所高职院校普遍存在录播资源利用率低、信息化经费有限、AI落地成本高的问题,本方案应用场景广泛。
方案可复制:项目预期形成完整技术方案、标注规范、代码与部署指南,其他院校按统一数据治理标准操作即可完成部署。
数据可共享:理实融合标注数据集与课程知识图谱经脱敏后以开源形式发布,为后续研究提供可复用数据基础与可对比评估基准。
模型可开源:本项目最终开源的是轻量化多模态大模型本身(GGUF量化后的模型权重),其他院校下载即可部署使用。
从教材、课程标准、实训指导书、企业岗位标准等文本资料中系统抽取知识点、实训操作步骤、企业能力要求等结构化信息。采取双人独立标注、交叉核对、第三人终审的质控模式,完成理论知识点与实训操作步骤的映射关系梳理。搭建包含课程体系、知识体系、技能体系、岗位能力体系四层结构的Neo4j知识图谱,作为理实融合的知识底座。
四层结构:课程体系 → 知识体系 → 技能体系 → 岗位能力体系
存储方式:Neo4j图数据库
质控机制:双人独立标注 → 交叉核对 → 第三人终审(三级质控,标注一致率目标≥85%)
数据分级管理:结构化数据PostgreSQL、图数据Neo4j、向量数据独立向量库、非结构化数据规范目录存储
本项目数据治理工作贯穿数据采集、处理、存储、使用、共享、销毁全生命周期。
数据采集标准:统一视频格式标准(MP4/H.264/1080p)、命名规范、元数据字段规范(包含学院、课程、教师、录制时间等)。
数据标注标准:制定《理实映射标注规范手册》,统一知识点与操作步骤的定义边界、命名规则、映射关系判定标准,确保不同标注人员的一致性。
数据存储标准:结构化数据存入PostgreSQL,图数据存入Neo4j,向量数据存入向量数据库,非结构化数据(视频、图片)按规范目录存储。
标注伦理:标注工作由项目组教师完成,标注过程遵循客观性原则,不引入主观偏见。
数据代表性:覆盖全部学院、多门课程、多类教学场景,确保数据集具有足够的代表性与多样性。
偏见防范:在数据标注与模型训练中,关注不同课程、不同教学风格的均衡覆盖,避免因数据偏差导致模型偏见。
数据来源合规:教学视频为学校录播系统正常教学活动中产生,学校拥有数据使用权;文本资料为学校自有教学资源。
数据使用合规:全部数据处理与模型训练在学校自有服务器上完成,不涉及数据传输至校外第三方平台,符合《中华人民共和国数据安全法》与《中华人民共和国个人信息保护法》。
数据共享合规:开源发布数据严格脱敏,视频源文件不予公开,关键帧经人脸模糊处理,语音转文字为纯文本,标注数据为纯文本,确保不包含任何可识别个人身份的信息。
全部数据在校内物理内网闭环处理,机房7×24小时不间断运维供电。数据访问权限仅限于项目核心成员,建立数据访问授权与审计机制。建立数据备份与恢复机制,确保数据安全运营可持续。
数据资源体系支持各学院、各专业按需调用,实现一次建设、全校复用。
本项目最终开源的是轻量化多模态大模型本身(GGUF量化后的模型权重),配套开源内容包括:模型权重文件(GGUF格式)、理实融合知识图谱(Neo4j导出)、理实映射标注规范手册、技术方案白皮书与部署指南。其他院校下载即可直接部署使用,无需从头训练。
关键辨析:其他项目开源的是“数据集”——别人拿到只能做研究。本项目开源的是“模型本身”——别人拿到就能直接部署使用。
预期形成《理实映射标注规范手册》与技术方案白皮书。
① 理实融合标注数据集 — 理论知识点↔实训操作步骤映射,经脱敏后形成结构化知识图谱
② 教学多模态问答数据集 — 理论问答、实训问答、理实交叉问答三类样本
③ 数据治理标准规范 — 《理实映射标注规范手册》与技术方案白皮书
预期通过全量视频结构化处理,将逾万小时已录制的教学视频转化为可检索、可溯源、可分析的数字化数据资源,实现从存档状态向可用状态的转变。
学生预期通过自然语言提问在数秒内获得精准答案并定位到视频片段,相比传统基于时间轴手动浏览的方式,检索效率显著提升。
系统预期自动分析课堂讲授逻辑、PPT呈现与语音讲解的对应关系,为教师提供教学诊断报告,辅助发现教学中的问题,实现数据驱动的教学改进。
数据资源体系与问答系统预期面向全部学院、全部专业提供服务,避免重复建设,提高教学资源的复用效率。
关键指标预期:问答F1值≥0.75(教学场景可用阈值)· 推理速度≥8 token/s · 视频定位精度≤3秒
具体推广路径分为三步。
在本校3门核心课程中完成试点部署,覆盖汽车、电子信息、经济管理三个学院。收集教师教学诊断报告与学生问答日志,迭代优化系统稳定性与问答准确率。
通过陕西省教育厅“AI+专业群”建设渠道,向省内职业本科院校输出技术方案与部署指南。提供标注规范模板与数据治理标准,协助完成本地化适配。
依托教育部职业教育发展中心的职业本科院校网络,向全国124所院校推广。同步在Hugging Face和ModelScope平台开源数据集与知识图谱,降低其他院校的启动成本。
推广策略:采用“分阶段适配”策略。第一阶段提供开源模型权重与推理代码(开箱即用);第二阶段提供数据标注模板与知识图谱构建指南(本地化适配);第三阶段根据反馈迭代优化(社区驱动持续进化)。
备选基座模型:首选Qwen系列开源原生多模态模型(Qwen2.5-VL-7B/72B),4-bit量化后约5-6GB显存,与Gemma方案可无缝切换。
低运维成本:方案全部本地部署,不依赖云端API按量付费,运维成本低。
数据资产持续增值:随着教学视频的持续积累,知识图谱与问答数据集可不断更新扩展,数据资产持续增值。
政策持续驱动:国家及省级“人工智能+教育”政策持续推动,为项目提供长期驱动。
MoE-LoRA专家模块基于“一学院一体系”原则划分,不追求一次性完成全部学院训练,而是搭建可扩展的架构框架。随着本项目跑通“数据治理→知识图谱→模型微调”全流程,后续每年可根据各学院新增数据,逐步扩展对应专家模块,形成“一学院一专家”的持续积累机制。
核心逻辑:学校有多年的数据沉淀,随着本次跑通全流程,逐年还会增加。不追求一次性全部完成,而是框架先行、逐年扩展。
本次项目完成后,系统架构已预留扩展接口,未来可向三个方向拓展。
多角色AI教学互动:接入多智能体框架,实现沉浸式课堂讨论与互动教学。
课程资源自动生成:基于知识图谱与视频素材库,实现新课程资源的快速生成与推荐。
交互式实训模拟:结合操作视频识别能力,实现实训操作的AI模拟与即时反馈。
本项目以开源工具链为基础进行自主研发,硬件投入门槛低,相比采购商业AI教学产品可显著节约经费。项目为全国124所职业本科院校和1540所高职院校提供可复制的低成本技术范式。同时,将已录制的教学视频转化为有结构、有价值的数据资产,实现数据资产化。
推动教育公平
以轻量化架构降低经济欠发达地区职业院校AI教学改造门槛
促进数据开放共享
产出开源标注数据集与知识图谱,为后续研究提供数据基础
服务地方战略
直接对接陕西省“AI+专业群”建设要求
培养数字化人才
项目研发过程将带动学生参与数据标注、系统测试等环节
以下为申报书中全部15张图表,按顺序排列,支持Mermaid渲染。
graph TD
A["本项目数据来源(三大类)"]
A --> B["① 教学视频数据
核心多模态数据源"]
A --> C["② 教学文本数据
知识抽取源"]
A --> D["③ 结构化办学数据
全链条数据源"]
B --> B1["逾万小时录播视频
1080p · 全部学院"]
C --> C1["教材 · 课标 · 实训指导书
企业岗位标准 · 职业等级标准"]
D --> D1["教务处 · 学工 · 招生 · 就业
人事 · 科研 · 各二级学院"]
style A fill:#ECECFF,stroke:#080808,color:#080808
style B fill:#ECECFF,stroke:#080808,color:#080808
style C fill:#ECECFF,stroke:#080808,color:#080808
style D fill:#ECECFF,stroke:#080808,color:#080808
style B1 fill:#ECECFF,stroke:#080808,color:#080808
style C1 fill:#ECECFF,stroke:#080808,color:#080808
style D1 fill:#ECECFF,stroke:#080808,color:#080808
graph LR
A["治理价值
统一采集·清洗·标注·入库
形成标准化数据资源"]
A --> B["知识价值
抽取理实映射关系
构建结构化知识图谱"]
B --> C["智能价值
大模型转化
数据资源→智能服务"]
C --> D["共享价值
开源发布
为后续研究提供数据基础"]
style A fill:#ECECFF,stroke:#080808,color:#080808
style B fill:#ECECFF,stroke:#080808,color:#080808
style C fill:#ECECFF,stroke:#080808,color:#080808
style D fill:#ECECFF,stroke:#080808,color:#080808
sequenceDiagram
participant 数据输入
participant 数据预处理
participant 核心理解
participant 知识注入
participant 推理输出
数据输入->>数据预处理: 视频元数据列表
数据预处理->>核心理解: 自适应关键帧+音频
核心理解->>知识注入: Gemma 4 12B结构化描述
知识注入->>推理输出: QLoRA+MoE-LoRA+PRAG+DPO模型
推理输出-->>用户: 答案+溯源链接+时间戳
sequenceDiagram
participant 视频源
participant 预处理
participant Qwen3_VL
participant PostgreSQL
participant 向量数据库
rect rgb(236, 236, 255)
Note over 视频源,预处理: 并行输入
视频源->>预处理: 视频元数据(API获取)
视频源->>预处理: 关键帧+音频(FFmpeg自适应抽帧)
end
预处理->>Qwen3_VL: 画面理解+OCR+语音转文字时序对齐
Qwen3_VL->>PostgreSQL: 结构化描述+时间戳
PostgreSQL->>向量数据库: 按学院/课程/片段索引
向量数据库-->>Qwen3_VL: 全量视频RAG检索库
graph TD
subgraph 第一层["第一层:课程体系"]
A1[课程标准]
A2[课程结构]
end
subgraph 第二层["第二层:知识体系"]
B1[教材]
B2[知识点清单]
end
subgraph 第三层["第三层:技能体系"]
C1[实训指导书]
C2[操作步骤]
end
subgraph 第四层["第四层:岗位能力体系"]
D1[企业岗位标准]
D2[能力要求]
end
A1 --> A2
B1 --> B2
C1 --> C2
D1 --> D2
A2 -.->|对应| B2
B2 -.->|对应| C2
C2 -.->|对应| D2
E[Neo4j图数据库] --> F[四层知识图谱存储]
style A1 fill:#ECECFF,stroke:#080808,color:#080808
style A2 fill:#ECECFF,stroke:#080808,color:#080808
style B1 fill:#ECECFF,stroke:#080808,color:#080808
style B2 fill:#ECECFF,stroke:#080808,color:#080808
style C1 fill:#ECECFF,stroke:#080808,color:#080808
style C2 fill:#ECECFF,stroke:#080808,color:#080808
style D1 fill:#ECECFF,stroke:#080808,color:#080808
style D2 fill:#ECECFF,stroke:#080808,color:#080808
style E fill:#ECECFF,stroke:#080808,color:#080808
style F fill:#ECECFF,stroke:#080808,color:#080808
graph TD
U["用户输入问题"]
R["路由模块
识别问题归属学院"]
R -->|汽车学院| A["激活汽车学院LoRA专家"]
R -->|电子信息学院| B["激活电子信息学院LoRA专家"]
R -->|经济管理学院| C["激活经济管理学院LoRA专家"]
R -->|其他学院| D["激活对应学院LoRA专家"]
A --> O["输出答案"]
B --> O
C --> O
D --> O
subgraph 冻结["冻结状态(未激活)"]
F1["汽车学院专家
(非本问题时冻结)"]
F2["电子信息学院专家
(非本问题时冻结)"]
F3["经济管理学院专家
(非本问题时冻结)"]
end
style U fill:#ECECFF,stroke:#080808,color:#080808
style R fill:#ECECFF,stroke:#080808,color:#080808
style A fill:#ECECFF,stroke:#080808,color:#080808
style B fill:#ECECFF,stroke:#080808,color:#080808
style C fill:#ECECFF,stroke:#080808,color:#080808
style D fill:#ECECFF,stroke:#080808,color:#080808
style O fill:#ECECFF,stroke:#080808,color:#080808
style F1 fill:#ECECFF,stroke:#080808,color:#080808
style F2 fill:#ECECFF,stroke:#080808,color:#080808
style F3 fill:#ECECFF,stroke:#080808,color:#080808
sequenceDiagram
participant 基座模型
participant QLoRA
participant MoE_LoRA
participant PRAG
participant DPO
基座模型->>QLoRA: Gemma 4 12B
QLoRA->>QLoRA: 领域适应微调(问答对数据)
QLoRA-->>MoE_LoRA: SFT模型权重
MoE_LoRA->>MoE_LoRA: 各学院独立LoRA专家训练
MoE_LoRA-->>DPO: 专家模块
PRAG->>PRAG: 理实映射编码
PRAG-->>DPO: LoRA适配器
DPO->>DPO: 教学偏好对齐
DPO-->>基座模型: 最终模型
sequenceDiagram
participant 用户
participant 对话框
participant 路由判断
participant LoRA专家
participant RAG知识库
participant 微调模型
用户->>对话框: 输入问题(文字/语音/视频/文件)
对话框->>路由判断: 识别问题归属学院
路由判断->>LoRA专家: 激活对应专家模块
LoRA专家->>RAG知识库: 检索定位相关视频片段
RAG知识库-->>LoRA专家: 返回相关片段(精确到秒)
LoRA专家->>微调模型: 提交上下文+问题
微调模型-->>LoRA专家: 生成答案
LoRA专家-->>对话框: 答案+溯源链接+时间戳
对话框-->>用户: 显示答案+视频跳转链接
graph TD
subgraph 用户层["用户层"]
U["对话框界面
文字·语音·视频·文件"]
end
subgraph 应用层["应用层"]
R["路由判断
识别归属学院"]
E["专家激活
MoE-LoRA动态加载"]
S["RAG检索
全量视频片段定位"]
A["答案生成
微调模型推理"]
T["溯源链接
精确到秒的视频跳转"]
end
subgraph 模型层["模型层"]
G["Gemma 4 12B
量化后16GB显存运行"]
M["MoE-LoRA专家模块
各学院独立专家"]
end
subgraph 数据层["数据层"]
D1["全量视频RAG检索库
逾万小时结构化索引"]
D2["理实融合知识图谱
四层图数据库"]
D3["专业资料库
教材/课标/实训指导书/企业标准"]
end
U --> R --> E --> S --> A --> T
T --> U
E --> M
A --> G
S --> D1
D2 --> S
D3 --> D2
style U fill:#ECECFF,stroke:#080808,color:#080808
style R fill:#ECECFF,stroke:#080808,color:#080808
style E fill:#ECECFF,stroke:#080808,color:#080808
style S fill:#ECECFF,stroke:#080808,color:#080808
style A fill:#ECECFF,stroke:#080808,color:#080808
style T fill:#ECECFF,stroke:#080808,color:#080808
style G fill:#ECECFF,stroke:#080808,color:#080808
style M fill:#ECECFF,stroke:#080808,color:#080808
style D1 fill:#ECECFF,stroke:#080808,color:#080808
style D2 fill:#ECECFF,stroke:#080808,color:#080808
style D3 fill:#ECECFF,stroke:#080808,color:#080808
graph LR
A["采集
API自动获取
保留原始完整性"]
A --> B["清洗
过滤损坏视频
统一编码格式"]
B --> C["标注
三级质控机制
双人标注→交叉核对→终审"]
C --> D["存储
分类索引
建立备份机制"]
D --> E["使用
校内物理内网
授权访问·全程留痕"]
E --> F["共享
仅限脱敏结构化数据
严格保护个人信息"]
F --> G["归档
完整归档
保留溯源链条"]
G -.->|闭环| A
style A fill:#ECECFF,stroke:#080808,color:#080808
style B fill:#ECECFF,stroke:#080808,color:#080808
style C fill:#ECECFF,stroke:#080808,color:#080808
style D fill:#ECECFF,stroke:#080808,color:#080808
style E fill:#ECECFF,stroke:#080808,color:#080808
style F fill:#ECECFF,stroke:#080808,color:#080808
style G fill:#ECECFF,stroke:#080808,color:#080808
graph TD
subgraph 校园内网["校园内网 · 物理隔离"]
subgraph GPU["GPU服务器"]
G["RTX 4090(24GB)
Gemma 4 12B推理与微调"]
end
subgraph CPU["CPU服务器"]
C["Intel Xeon Gold
多核心 · 256GB内存
视频预处理 · RAG检索"]
end
subgraph 存储["集中式存储"]
S["视频 · 关键帧 · 模型权重 · 数据库
容量满足全量数据存储"]
end
subgraph 运维["7×24小时运维"]
O["不间断供电 · 闭环处理"]
end
end
G -->|调用| C
C -->|读写| S
S -->|备份| O
style G fill:#ECECFF,stroke:#080808,color:#080808
style C fill:#ECECFF,stroke:#080808,color:#080808
style S fill:#ECECFF,stroke:#080808,color:#080808
style O fill:#ECECFF,stroke:#080808,color:#080808
graph TD
subgraph 成果体系["六项成果 · 全部100%归属学校"]
A["研究报告
理论总结"]
B["核心论文
方法论阐述"]
C["软件著作权
交互系统"]
D["精标数据集
数据基础"]
E["知识图谱
知识底座"]
F["模型权重
技术核心"]
end
D --> E
E --> F
F --> C
C --> B
B --> A
style A fill:#ECECFF,stroke:#080808,color:#080808
style B fill:#ECECFF,stroke:#080808,color:#080808
style C fill:#ECECFF,stroke:#080808,color:#080808
style D fill:#ECECFF,stroke:#080808,color:#080808
style E fill:#ECECFF,stroke:#080808,color:#080808
style F fill:#ECECFF,stroke:#080808,color:#080808
别人在做一个应用,
你在建一个范式。
当其他学校还在用RAG做校园知识库的时候,你已经用全校6年全量数据跑通了职业本科AI赋能的全链路,为124所兄弟院校提供了一个可复制的范本。
对标结论:与28个获奖案例对标,本项目在数据广度(全校6+部门 vs 单一部门)、数据深度(6年全链条 vs 1-2年片段)、技术完整度(全链路 vs 单一技术)、行业站位(范式 vs 应用)四个维度均具备明显优势。核心差距在于“已落地成效”需在项目实施中逐步产生。
核心理念:西电慧通解决“有没有AI”,本项目解决“职业本科能不能用得起、用得好”。慧通在广度,我们在深度。西电已经证明了这个赛道有价值,我们证明了职业本科也有自己的专属方案。