数据要素×科技创新 赛题二 2026

科学数据×职业本科轻量化多模态大模型

2026 年“数据要素×”大赛 · 参赛项目

02 一句话说清项目

本项目以学校职业本科办学全量可开放数据为基础,融合全校核心部门多源异构数据与逾万小时教学视频,构建覆盖 “数据治理 → 知识图谱 → 模型微调 → 轻量部署 → 智能应用” 全链路的轻量化多模态大模型,为全国124所职业本科院校提供可复制、可推广的“数据治理+AI赋能”行业范本。

03 数据基础 真正的壁垒

(一)数据来源:全校核心部门全量数据

数据来源部门
核心数据内容
关键价值
教务处
课程体系、培养方案、课程标准、学生成绩、学籍、教学计划
学生学业全轨迹
学工部
学生基本信息、评奖评优、竞赛获奖、违纪处分、资助信息
学生综合素质画像
招生办公室
招生计划、录取分数、生源质量、专业报考热度
入口质量分析
就业指导中心
就业率、对口率、薪资水平、就业地域、用人单位反馈、职业发展追踪
出口质量分析
人事处
教师学历背景、职称结构、教学能力、培训记录
师资力量画像
科研处
科研成果、专利软著、横向课题、产教融合项目
科研与社会服务能力
图书馆
文献资源、数字资源访问日志
学习行为辅助数据
信息中心/现教中心
逾万小时录播教学视频(1080p)、智慧教室运行数据
多模态核心数据
各二级学院
专业建设、实训教学、实习实训、院系特色数据
专业级精细化数据
质量监控与评估中心
教学督导、教学评估、专业认证数据
质量保障数据

数据合规说明:本项目使用的录播视频为学校智慧教室系统自动采集的教师授课主画面(黑板+PPT),基本不涉及学生画面,数据主要用于内容理解与知识抽取,数据合规风险较低。

(二)时间维度:2019年至今完整6年

(三)数据类型与体量

数据类型
内容描述
体量 / 规模
视频数据
理实一体化教学录播视频(MP4/H.264/1080p)
逾万小时
图像/帧数据
视频结构化处理后的关键帧(PPT、板书、操作画面)
百万级(自适应抽帧)
文本数据
课程标准、教材、实训指导书、企业岗位标准、职业等级标准
千余份文档
结构化数据
课程、成绩、学籍、就业、师资等
覆盖全校数万名学生、千余名教师
知识图谱
Neo4j四层架构(课程 → 知识 → 技能 → 岗位)
节点数千级、关系万条级

04 技术路线

模块
技术方案
核心价值
基座模型
Gemma 4 12B(Google DeepMind 2026.06)
无编码器统一多模态架构
文本/图像/音频/视频四模态原生融合,16GB显存运行
模型量化
GGUF Q4_K_M + Ollama
4-bit量化,一键本地部署
参数微调
QLoRA
仅更新0.1%~1%参数,RTX 4090可训练
分域专家
MoE-LoRA学院级专家架构
课程标签路由按需激活,多学院知识隔离
知识注入
PRAG参数化编码
理实映射固化进模型权重
偏好对齐
DPO
理论准确性 + 操作规范性 + 理实关联自然度
双轨增强
PRAG(静态固化)+ RAG(动态检索)
兼顾推理效率与知识更新
视频理解
Qwen3-VL + PaddleOCR
全自动结构化解析,三模态时序对齐
知识图谱
Neo4j 四层架构
课程 → 知识 → 技能 → 岗位体系化建模
技术关键词
Gemma 4 12B GGUF Q4_K_M QLoRA MoE-LoRA PRAG DPO RAG Qwen3-VL PaddleOCR Neo4j Ollama

全链路技术架构

L1 · 数据治理层
多源异构数据融合:教务处 学工部 招生办 就业中心 人事处 科研处 信息中心 各学院
视频结构化:Qwen3-VL(帧解析 + OCR + 行为理解)+ ASR 语音转写 → 时序对齐
↓
L2 · 知识构建层
Neo4j 四层知识图谱:课程体系 → 知识体系 → 技能体系 → 岗位能力体系
理实映射:双人独立标注 + 交叉复核,知识点 ↔ 操作步骤精准关联
↓
L3 · 模型微调层(核心)
基座:Gemma 4 12B(无编码器统一多模态架构,原生支持文本+图像+音频,16GB显存)
量化:GGUF Q4_K_M + Ollama 本地部署
微调:QLoRA(更新 0.1%~1% 参数)
专家:MoE-LoRA 学院级架构(课程标签路由,按需激活)
知识注入:PRAG 参数化编码(理实映射固化进权重)
对齐:DPO(理论准确性 + 操作规范性 + 理实关联自然度)
↓
L4 · 推理增强层
双轨协同:PRAG 静态固化(低频变更) + RAG 动态检索(高频更新)
向量检索:全量教学视频索引 → 精确到秒溯源
↓
L5 · 应用服务层
智能问答系统(文字 / 语音 / 视频 / 文件多模态输入)
四类场景:学生自主答疑 · 教师教学诊断 · 实训操作辅助 · 教学资源智能管理

原生多模态架构:市面上多模态方案大多采用“独立视觉编码器+大语言模型”的拼接架构。本项目基座模型Gemma 4 12B采用无编码器统一架构,将原始图像像素块与音频帧直接映射至语言模型嵌入空间,由统一解码器处理所有模态,文本、图像、音频、视频在统一表征空间中原生融合,不存在模态拼接带来的信息损耗。

轻量化验证:已在本地笔记本(NVIDIA GTX 1080,8GB显存)上通过Ollama完成Gemma模型的初步部署测试,验证了模型在消费级硬件上的运行可行性。正式部署将采用GGUF Q4_K_M量化方案,预期推理速度不低于8 token/s。

05 与同类项目的本质差异

高校大模型应用的三种主流做法

做法
说明
典型案例
纯RAG
不改模型参数,规章制度/课程资料/政策文件做向量检索,外挂知识库
厦门大学、西南石油大学
纯微调
用学科专属数据调整模型参数,知识内化
北航、西电“玄知大模型”
RAG+微调
两者结合
成都大学、西电“慧通大模型”

你的项目:本质区别

其他学校
选择一种技术方案,适配一个具体场景
你的项目
对一所职业本科院校的全量办学数据进行体系化治理,构建覆盖“治理→图谱→模型→部署→应用”的全链路范式
对比维度
其他学校
你的项目
数据来源
某一部门或某一学科
全校核心部门全量数据
数据时间
近1-2年片段
2019年至今完整6年全链条
覆盖主体
单一(学生或课程)
学生 + 教师 + 课程 + 专业 + 岗位
技术路线
RAG / 微调 / 两者结合选其一
全链路打通(治理 → 图谱 → 微调 → 部署 → 应用)
最终产出
一个功能应用
一套可复制的行业范式

06 vs 西电慧通大模型 2025年该赛道一等奖

核心观点:西电慧通解决的是“有没有AI”的问题,本项目解决的是“职业本科能不能用得起、用得好”的问题。慧通在广度,我们在深度。两者是互补关系,不是竞争关系。

对比维度
西电慧通大模型
本项目
学校层次
211高校
职业本科
数据来源
1300余万项通用教育数据资源
全校6+部门、6年全链条、逾万小时视频
模型定位
通用教育大模型
职业本科理实一体化专属模型
多模态架构
外挂拼接方案
原生统一多模态架构(无编码器)
硬件门槛
依赖算力中心
16GB单卡(消费级)
适用场景
全学段通用教育
职业本科“理论+实训”垂直场景
可复制性
其他学校难以复制
124所职业本科院校可直接采用
开源
未提及开源
轻量化大模型开源(模型本身开源)

答辩话术:西电已经证明了这个赛道有价值,我们证明了职业本科也有自己的专属方案。西电慧通用广度覆盖全学段,本项目用深度解决理实一体化这个具体场景。

07 2025陕西省“数据要素×”典型案例库

28个案例 · 14个赛道 · 完整清单

工业制造
01 地球物理测井高质量数据集构建与应用
02 安全超脑-数据驱动矿井动态安全风险决策
现代农业
03 农资数据融合产业助力全链条协同
04 秦巴区域茶产业大脑项目
商贸流通
05 数据要素驱动的大宗货物堆场云边协同数字化监管系统
06 打造建筑行业供应链数据融合平台和AI数字员工创新应用
交通运输
07 数据驱动的交通运输领域大模型智能客服生态构建
08 煤炭智慧物流数据融合与应用
金融服务
09 数字化智能分析决策系统——基于全域企业数据要素的智能风控与金融服务赋能平台
10 商业银行数据资产化创新实践
科技创新
11 慧通大模型——智慧教育新引擎
12 数智客服
文化旅游
13 陕西文旅IP生态链数据联动赋能全场景交互体验
14 测绘赋能陕西文物四普项目
医疗健康
15 鲸医生糖尿病项目——健康领域数据标注
16 基于口腔多模态影像数据要素的智能平台
医疗保障
17 医保影像一张网——医学影像数据要素全国协同共享与效能提升工程
18 融数慧医——医保多元数据融合与智能反欺诈平台
应急管理
19 典型地质灾害监测与防治信息化关键技术及应用
20 测绘筑基空间底座:立体赋能秦岭生态保护
气象服务
21 秦地智感涝情速判——基于多源数据融合的AI大模型西安内涝预警系统
22 融合多源气象数据,赋能汉中茶叶产业质效提升
城市治理
23 打造5G-A低空巡查一张网,赋能基层治理提质增效
24 智惠“充电宝”——虚拟微电网解码城市民生“车桩光储”用电最优解
绿色低碳
25 实景三维赋能陕西省淤地坝综合治理
26 延安市固体废物管理信息系统
创新赛道
27 基于价值区块链的可信数据空间建设与模式创新
28 数据要素驱动下的绿色建材产业数字化转型新范式
赛道分布:工业制造2 · 现代农业2 · 商贸流通2 · 交通运输2 · 金融服务2 · 科技创新2 · 文化旅游2 · 医疗健康2 · 医疗保障2 · 应急管理2 · 气象服务2 · 城市治理2 · 绿色低碳2 · 创新赛道2

08 我们 vs 它们 —— 深度对标分析

(一)哪些案例与我们的赛道最相关?

案例
核心做法
与我们最相关的点
关键差异
慧通大模型
科技创新
1300余万项教育数据资源,自适应RAG,垂直化迁移微调
同属教育领域、同属科技创新赛道、同样基于大模型做教育智能化
西电是“双一流”高校,资源投入远高于职业本科;我们专注理实融合+轻量化+原生多模态
陕交控智能客服
交通运输
309万用户,大模型微调+RAG,本地政策匹配度92%
技术路线高度一致:领域专属数据+大模型微调+RAG增强+智能问答
已实际运营,有真实用户数据;我们在教育垂直领域的深度知识建模是独特优势
测井高质量数据集
工业制造
10万口井数据治理,统一数据格式GD5X,支撑测井大模型
数据治理逻辑高度相似:多源异构治理→高质量数据集→行业大模型
央企案例,资源投入不可比;我们治理的是全校办学数据,方法论可复制性更强
商砼之家
创新赛道
建材供应链数据融合,AI数字员工,交易额86亿元
数据融合+AI赋能的逻辑一致,形成“可复制范式”
已产生实际经济效益;我们做的是职业本科教育领域的行业范式,社会效益更突出

(二)28个案例的共同规律

(三)我们与28个案例的综合对标

对比维度
28个案例的特征
我们的对标情况
数据来源
多源融合,但多为单一行业或单一部门
全校6+部门全量数据,覆盖办学全链条
数据时间
多为近1-2年数据
2019年至今完整6年,第一届毕业生至今完整就业追踪
技术路线
RAG、微调、大模型等单一或组合技术
全链路:治理→图谱→微调→部署→应用
应用场景
1-2个具体业务场景
4类真实教学场景:学生答疑、教师诊断、实训辅助、资源管理
推广价值
多数为单一企业或单一区域
全国124所职业本科院校可复制
行业站位
行业解决方案
职业本科数据治理+AI赋能行业范式

09 项目名称深度解析

最终定名:《科学数据×职业本科轻量化多模态大模型》

科学数据×职业本科轻量化多模态大模型
科学数据
项目根基——全校6+部门、2019年至今6年、逾万小时教学视频。数据是项目的“燃料”,决定了模型能走多远。直接呼应“数据要素×”大赛主题。
×
大赛符号——直接呼应“数据要素×”大赛品牌,评委一看就知道你来对赛道了。“×”是乘号,代表数据与技术的融合放大效应。
职业本科
场景限定——本项目服务全国124所职业本科院校,聚焦“理论+实训”理实一体化教学场景,普通高校没有这个场景,通用方案做不了这个深度。
轻量化
核心特征——以Gemma 4 12B为基座,单卡16GB显存即可完成推理与微调,不依赖A100。已在GTX 1080(8GB)上完成初步测试验证。这是“可复制”的硬件基础。
多模态大模型
技术载体——Google DeepMind 2026年6月发布的Gemma 4 12B,原生统一多模态架构,文本、图像、音频、视频四种模态原生融合,非外挂拼接。职业本科的教学数据天然是多模态的。
全称逻辑
根基(科学数据)→ 符号(×)→ 场景(职业本科)→ 特征(轻量化)→ 技术(原生多模态大模型)
与“慧通大模型”的差异
西电慧通:通用教育大模型(广度)
本项目:职业本科专属模型(深度)+ 原生多模态 + 开源
对比优势
比原版《科学数据驱动的职业本科轻量化多模态大模型》
短3个字,读感更干净,“×”符号视觉冲击力更强
评审视角:评委看到这个名字,3秒内完成三个判断——赛道对(“科学数据×”直接呼应大赛品牌)、场景对(“职业本科”)、技术对(“轻量化多模态大模型”)。不需要看正文就知道项目在做什么。

10 需求痛点

124
职业本科院校
1540
高职院校
<5%
录播视频使用率
50亿+
智慧教室投入

全国现有职业本科院校124所、高职院校1540所,绝大多数学校已建成智慧教室与录播系统,积累了大量教学视频资源。这些资源录制后存档,难以检索、难以利用,无法转化为可服务于教学的数据资产。职业本科“理实一体化”教学模式要求理论讲授与实训操作深度融合,但现有教学资源管理和利用方式无法支撑这一模式的数字化升级。

2026年4月,教育部等五部门印发《“人工智能+教育”行动计划》,明确要求职业教育阶段“推动传统产业相关专业的智能转型”。陕西省教育厅提出在职业院校建成“AI+专业群”和虚拟仿真实训基地。职业本科院校普遍面临“有数据、有需求、无方案”的困境:现有AI教学方案多依赖高端算力,与院校实际条件不匹配;通用大模型在理实融合场景中适配性差。

核心矛盾:投入了50亿+建设智慧教室,录播视频使用率却不足5%——数据资产严重沉睡。

11 应用场景

本项目构建轻量化多模态大模型基座,单卡16GB显存本地化私有部署,面向全校提供标准化API接口,预期支撑四类场景。

1. 校级AI能力底座

以API形式向各业务系统提供智能服务,调用模型实现内容理解、智能问答、多模态检索。支持文字、语音、视频、文件多种输入。实现集约化部署与全校复用。

2. 理实一体化教学

模型建立“知识点”与“操作步骤”双向语义关联。教师可分析课堂讲授与实训演示对应关系;学生可通过自然语言提问获取理论依据与操作指导。

3. 教学视频资源治理

逾万小时录播视频缺乏有效治理。模型对视频结构化解析,转化为可检索、可问答、可分析的数字化知识资产,支撑教师备课、学生自学与教学管理。

4. 跨部门数据融合与决策支持

打通教务、学工、招生就业、师资、科研等数据,以大模型为分析引擎,支撑招生质量分析、学业预警、就业趋势预测、专业建设评估,推动学校管理从经验驱动向数据驱动转型。

12 核心优势

(一)创新性

场景创新:公开文献中针对职业本科“理实一体化”教学场景的轻量化多模态大模型研究较少。现有国家级项目聚焦全学段通用场景和基础教育场景。本项目将职业本科“理论讲授+实训操作”核心特征转化为可计算知识结构并注入模型参数,与现有方案形成差异。

架构创新:提出“静态参数固化+动态视频检索”双轨知识增强架构。PRAG技术将低频变更的理实映射知识固化至模型权重,提升推理效率;向量检索库搭建RAG动态检索链路,实现课堂片段精确定位与溯源,兼顾推理性能与知识库可扩展性。

方法创新:引入MoE-LoRA学院级专家架构,为各学院独立训练LoRA专家模块,推理时按课程标签路由激活对应专家,实现学院级知识隔离与按需动态加载。

原生多模态创新:市面上多模态方案大多采用“独立视觉编码器+大语言模型”的拼接架构,信息经过多次投影转换存在损耗。本项目基座模型Gemma 4 12B采用无编码器统一架构,将原始图像像素块与音频帧直接映射至语言模型嵌入空间,由统一解码器处理所有模态,三种模态共享同一套权重和表征空间。一次QLoRA即可完成全部模态微调,全双工语音对话无需外挂ASR模块,技术路线更简洁、信息传递更完整。

(二)有效性

数据基础扎实:录播系统积累逾万小时教学视频,涵盖全部学院,配套教材、实训指导书、课程标准齐全。已打通全校核心部门数据,形成2019年至今6年办学全链条数据,覆盖招生、培养、实训、就业、职业发展全周期。

技术路线成熟:基座模型采用Google DeepMind 2026年6月发布的Gemma 4 12B,16GB显存即可本地运行。采用GGUF Q4_K_M量化、QLoRA微调、MoE-LoRA分域专家、PRAG知识注入、DPO偏好对齐、RAG动态检索,以开源工具链为基础,结合自主研发的标注规范与训练流程,具备工程可行性。

轻量化部署:单卡16GB显存可完成推理与微调,不依赖A100。已在本地笔记本(GTX 1080,8GB显存)上通过Ollama完成Gemma模型初步测试,验证了消费级硬件的可行性。全部模块本地化部署,数据校内闭环处理。

(三)可推广性

需求普适:全国124所职业本科院校及1540所高职院校普遍存在录播资源利用率低、信息化经费有限、AI落地成本高的问题,本方案应用场景广泛。

方案可复制:项目预期形成完整技术方案、标注规范、代码与部署指南,其他院校按统一数据治理标准操作即可完成部署。

数据可共享:理实融合标注数据集与课程知识图谱经脱敏后以开源形式发布,为后续研究提供可复用数据基础与可对比评估基准。

模型可开源:本项目最终开源的是轻量化多模态大模型本身(GGUF量化后的模型权重),其他院校下载即可部署使用。

13 理实融合知识图谱构建

从教材、课程标准、实训指导书、企业岗位标准等文本资料中系统抽取知识点、实训操作步骤、企业能力要求等结构化信息。采取双人独立标注、交叉核对、第三人终审的质控模式,完成理论知识点与实训操作步骤的映射关系梳理。搭建包含课程体系、知识体系、技能体系、岗位能力体系四层结构的Neo4j知识图谱,作为理实融合的知识底座。

四层结构:课程体系 → 知识体系 → 技能体系 → 岗位能力体系

存储方式:Neo4j图数据库

质控机制:双人独立标注 → 交叉核对 → 第三人终审(三级质控,标注一致率目标≥85%)

数据分级管理:结构化数据PostgreSQL、图数据Neo4j、向量数据独立向量库、非结构化数据规范目录存储

14 数据治理体系

本项目数据治理工作贯穿数据采集、处理、存储、使用、共享、销毁全生命周期。

(一)数据标准化管理

数据采集标准:统一视频格式标准(MP4/H.264/1080p)、命名规范、元数据字段规范(包含学院、课程、教师、录制时间等)。

数据标注标准:制定《理实映射标注规范手册》,统一知识点与操作步骤的定义边界、命名规则、映射关系判定标准,确保不同标注人员的一致性。

数据存储标准:结构化数据存入PostgreSQL,图数据存入Neo4j,向量数据存入向量数据库,非结构化数据(视频、图片)按规范目录存储。

(二)数据伦理治理

标注伦理:标注工作由项目组教师完成,标注过程遵循客观性原则,不引入主观偏见。

数据代表性:覆盖全部学院、多门课程、多类教学场景,确保数据集具有足够的代表性与多样性。

偏见防范:在数据标注与模型训练中,关注不同课程、不同教学风格的均衡覆盖,避免因数据偏差导致模型偏见。

(三)数据合规

数据来源合规:教学视频为学校录播系统正常教学活动中产生,学校拥有数据使用权;文本资料为学校自有教学资源。

数据使用合规:全部数据处理与模型训练在学校自有服务器上完成,不涉及数据传输至校外第三方平台,符合《中华人民共和国数据安全法》与《中华人民共和国个人信息保护法》。

数据共享合规:开源发布数据严格脱敏,视频源文件不予公开,关键帧经人脸模糊处理,语音转文字为纯文本,标注数据为纯文本,确保不包含任何可识别个人身份的信息。

(四)数据全生命周期七阶段

① 采集 → ② 清洗 → ③ 标注 → ④ 存储 → ⑤ 使用 → ⑥ 共享 → ⑦ 归档 ⟳

(五)数据安全运营

全部数据在校内物理内网闭环处理,机房7×24小时不间断运维供电。数据访问权限仅限于项目核心成员,建立数据访问授权与审计机制。建立数据备份与恢复机制,确保数据安全运营可持续。

15 数据流通与共享

(一)校内共享

数据资源体系支持各学院、各专业按需调用,实现一次建设、全校复用。

(二)开源的是模型本身

本项目最终开源的是轻量化多模态大模型本身(GGUF量化后的模型权重),配套开源内容包括:模型权重文件(GGUF格式)、理实融合知识图谱(Neo4j导出)、理实映射标注规范手册、技术方案白皮书与部署指南。其他院校下载即可直接部署使用,无需从头训练。

关键辨析:其他项目开源的是“数据集”——别人拿到只能做研究。本项目开源的是“模型本身”——别人拿到就能直接部署使用。

(三)标准输出

预期形成《理实映射标注规范手册》与技术方案白皮书。

(四)三类数据产品

① 理实融合标注数据集 — 理论知识点↔实训操作步骤映射,经脱敏后形成结构化知识图谱

② 教学多模态问答数据集 — 理论问答、实训问答、理实交叉问答三类样本

③ 数据治理标准规范 — 《理实映射标注规范手册》与技术方案白皮书

16 质效提升成效

(一)数据治理效能提升

预期通过全量视频结构化处理,将逾万小时已录制的教学视频转化为可检索、可溯源、可分析的数字化数据资源,实现从存档状态向可用状态的转变。

(二)教学效率提升

学生预期通过自然语言提问在数秒内获得精准答案并定位到视频片段,相比传统基于时间轴手动浏览的方式,检索效率显著提升。

(三)教学质量提升

系统预期自动分析课堂讲授逻辑、PPT呈现与语音讲解的对应关系,为教师提供教学诊断报告,辅助发现教学中的问题,实现数据驱动的教学改进。

(四)资源复用率提升

数据资源体系与问答系统预期面向全部学院、全部专业提供服务,避免重复建设,提高教学资源的复用效率。

关键指标预期:问答F1值≥0.75(教学场景可用阈值)· 推理速度≥8 token/s · 视频定位精度≤3秒

17 推广实施路径

具体推广路径分为三步。

第一步:校内验证阶段

在本校3门核心课程中完成试点部署,覆盖汽车、电子信息、经济管理三个学院。收集教师教学诊断报告与学生问答日志,迭代优化系统稳定性与问答准确率。

第二步:省内推广阶段

通过陕西省教育厅“AI+专业群”建设渠道,向省内职业本科院校输出技术方案与部署指南。提供标注规范模板与数据治理标准,协助完成本地化适配。

第三步:全国推广阶段

依托教育部职业教育发展中心的职业本科院校网络,向全国124所院校推广。同步在Hugging Face和ModelScope平台开源数据集与知识图谱,降低其他院校的启动成本。

推广策略:采用“分阶段适配”策略。第一阶段提供开源模型权重与推理代码(开箱即用);第二阶段提供数据标注模板与知识图谱构建指南(本地化适配);第三阶段根据反馈迭代优化(社区驱动持续进化)。

备选基座模型:首选Qwen系列开源原生多模态模型(Qwen2.5-VL-7B/72B),4-bit量化后约5-6GB显存,与Gemma方案可无缝切换。

18 可持续性与未来应用

(一)可持续性基础

低运维成本:方案全部本地部署,不依赖云端API按量付费,运维成本低。

数据资产持续增值:随着教学视频的持续积累,知识图谱与问答数据集可不断更新扩展,数据资产持续增值。

政策持续驱动:国家及省级“人工智能+教育”政策持续推动,为项目提供长期驱动。

(二)MoE-LoRA可扩展逻辑

MoE-LoRA专家模块基于“一学院一体系”原则划分,不追求一次性完成全部学院训练,而是搭建可扩展的架构框架。随着本项目跑通“数据治理→知识图谱→模型微调”全流程,后续每年可根据各学院新增数据,逐步扩展对应专家模块,形成“一学院一专家”的持续积累机制。

核心逻辑:学校有多年的数据沉淀,随着本次跑通全流程,逐年还会增加。不追求一次性全部完成,而是框架先行、逐年扩展。

(三)未来应用空间

本次项目完成后,系统架构已预留扩展接口,未来可向三个方向拓展。

多角色AI教学互动:接入多智能体框架,实现沉浸式课堂讨论与互动教学。

课程资源自动生成:基于知识图谱与视频素材库,实现新课程资源的快速生成与推荐。

交互式实训模拟:结合操作视频识别能力,实现实训操作的AI模拟与即时反馈。

推广渠道:学术推广 · 开源推广 · 示范推广 · 培训推广

19 经济社会效益

(一)经济效益

本项目以开源工具链为基础进行自主研发,硬件投入门槛低,相比采购商业AI教学产品可显著节约经费。项目为全国124所职业本科院校和1540所高职院校提供可复制的低成本技术范式。同时,将已录制的教学视频转化为有结构、有价值的数据资产,实现数据资产化。

(二)社会效益

推动教育公平

以轻量化架构降低经济欠发达地区职业院校AI教学改造门槛

促进数据开放共享

产出开源标注数据集与知识图谱,为后续研究提供数据基础

服务地方战略

直接对接陕西省“AI+专业群”建设要求

培养数字化人才

项目研发过程将带动学生参与数据标注、系统测试等环节

20 全部图表 · 申报书完整可视化

以下为申报书中全部15张图表,按顺序排列,支持Mermaid渲染。

图1 数据要素来源与分类图
展示三大类数据源的层级关系及具体内容。
                graph TD
                    A["本项目数据来源(三大类)"]
                    A --> B["① 教学视频数据
核心多模态数据源"] A --> C["② 教学文本数据
知识抽取源"] A --> D["③ 结构化办学数据
全链条数据源"] B --> B1["逾万小时录播视频
1080p · 全部学院"] C --> C1["教材 · 课标 · 实训指导书
企业岗位标准 · 职业等级标准"] D --> D1["教务处 · 学工 · 招生 · 就业
人事 · 科研 · 各二级学院"] style A fill:#ECECFF,stroke:#080808,color:#080808 style B fill:#ECECFF,stroke:#080808,color:#080808 style C fill:#ECECFF,stroke:#080808,color:#080808 style D fill:#ECECFF,stroke:#080808,color:#080808 style B1 fill:#ECECFF,stroke:#080808,color:#080808 style C1 fill:#ECECFF,stroke:#080808,color:#080808 style D1 fill:#ECECFF,stroke:#080808,color:#080808
图2 数据要素价值体现图
展示治理→知识→智能→共享四维价值递进关系。
                graph LR
                    A["治理价值
统一采集·清洗·标注·入库
形成标准化数据资源"] A --> B["知识价值
抽取理实映射关系
构建结构化知识图谱"] B --> C["智能价值
大模型转化
数据资源→智能服务"] C --> D["共享价值
开源发布
为后续研究提供数据基础"] style A fill:#ECECFF,stroke:#080808,color:#080808 style B fill:#ECECFF,stroke:#080808,color:#080808 style C fill:#ECECFF,stroke:#080808,color:#080808 style D fill:#ECECFF,stroke:#080808,color:#080808
图3 总体技术路线图
展示数据输入→预处理→核心理解→知识注入→推理输出五个阶段的时序关系。
                sequenceDiagram
                    participant 数据输入
                    participant 数据预处理
                    participant 核心理解
                    participant 知识注入
                    participant 推理输出

                    数据输入->>数据预处理: 视频元数据列表
                    数据预处理->>核心理解: 自适应关键帧+音频
                    核心理解->>知识注入: Gemma 4 12B结构化描述
                    知识注入->>推理输出: QLoRA+MoE-LoRA+PRAG+DPO模型
                    推理输出-->>用户: 答案+溯源链接+时间戳
                
图4 视频结构化处理流程图
展示原始视频→自适应抽帧+音频→Qwen3-VL→PostgreSQL→向量数据库的完整处理链路。
                sequenceDiagram
                    participant 视频源
                    participant 预处理
                    participant Qwen3_VL
                    participant PostgreSQL
                    participant 向量数据库

                    rect rgb(236, 236, 255)
                        Note over 视频源,预处理: 并行输入
                        视频源->>预处理: 视频元数据(API获取)
                        视频源->>预处理: 关键帧+音频(FFmpeg自适应抽帧)
                    end
                    预处理->>Qwen3_VL: 画面理解+OCR+语音转文字时序对齐
                    Qwen3_VL->>PostgreSQL: 结构化描述+时间戳
                    PostgreSQL->>向量数据库: 按学院/课程/片段索引
                    向量数据库-->>Qwen3_VL: 全量视频RAG检索库
                
图5 知识图谱结构图
展示课程体系→知识体系→技能体系→岗位能力体系四层结构及对应关系。
                graph TD
                    subgraph 第一层["第一层:课程体系"]
                        A1[课程标准]
                        A2[课程结构]
                    end

                    subgraph 第二层["第二层:知识体系"]
                        B1[教材]
                        B2[知识点清单]
                    end

                    subgraph 第三层["第三层:技能体系"]
                        C1[实训指导书]
                        C2[操作步骤]
                    end

                    subgraph 第四层["第四层:岗位能力体系"]
                        D1[企业岗位标准]
                        D2[能力要求]
                    end

                    A1 --> A2
                    B1 --> B2
                    C1 --> C2
                    D1 --> D2

                    A2 -.->|对应| B2
                    B2 -.->|对应| C2
                    C2 -.->|对应| D2

                    E[Neo4j图数据库] --> F[四层知识图谱存储]

                    style A1 fill:#ECECFF,stroke:#080808,color:#080808
                    style A2 fill:#ECECFF,stroke:#080808,color:#080808
                    style B1 fill:#ECECFF,stroke:#080808,color:#080808
                    style B2 fill:#ECECFF,stroke:#080808,color:#080808
                    style C1 fill:#ECECFF,stroke:#080808,color:#080808
                    style C2 fill:#ECECFF,stroke:#080808,color:#080808
                    style D1 fill:#ECECFF,stroke:#080808,color:#080808
                    style D2 fill:#ECECFF,stroke:#080808,color:#080808
                    style E fill:#ECECFF,stroke:#080808,color:#080808
                    style F fill:#ECECFF,stroke:#080808,color:#080808
                
图6 MoE-LoRA路由机制图
展示按课程标签激活对应学院专家、其他冻结的路由逻辑。
                graph TD
                    U["用户输入问题"]
                    R["路由模块
识别问题归属学院"] R -->|汽车学院| A["激活汽车学院LoRA专家"] R -->|电子信息学院| B["激活电子信息学院LoRA专家"] R -->|经济管理学院| C["激活经济管理学院LoRA专家"] R -->|其他学院| D["激活对应学院LoRA专家"] A --> O["输出答案"] B --> O C --> O D --> O subgraph 冻结["冻结状态(未激活)"] F1["汽车学院专家
(非本问题时冻结)"] F2["电子信息学院专家
(非本问题时冻结)"] F3["经济管理学院专家
(非本问题时冻结)"] end style U fill:#ECECFF,stroke:#080808,color:#080808 style R fill:#ECECFF,stroke:#080808,color:#080808 style A fill:#ECECFF,stroke:#080808,color:#080808 style B fill:#ECECFF,stroke:#080808,color:#080808 style C fill:#ECECFF,stroke:#080808,color:#080808 style D fill:#ECECFF,stroke:#080808,color:#080808 style O fill:#ECECFF,stroke:#080808,color:#080808 style F1 fill:#ECECFF,stroke:#080808,color:#080808 style F2 fill:#ECECFF,stroke:#080808,color:#080808 style F3 fill:#ECECFF,stroke:#080808,color:#080808
图7 多阶段训练时序图
展示基座模型→QLoRA→MoE-LoRA→PRAG→DPO的完整训练链路。
                sequenceDiagram
                    participant 基座模型
                    participant QLoRA
                    participant MoE_LoRA
                    participant PRAG
                    participant DPO

                    基座模型->>QLoRA: Gemma 4 12B
                    QLoRA->>QLoRA: 领域适应微调(问答对数据)
                    QLoRA-->>MoE_LoRA: SFT模型权重
                    MoE_LoRA->>MoE_LoRA: 各学院独立LoRA专家训练
                    MoE_LoRA-->>DPO: 专家模块
                    PRAG->>PRAG: 理实映射编码
                    PRAG-->>DPO: LoRA适配器
                    DPO->>DPO: 教学偏好对齐
                    DPO-->>基座模型: 最终模型
                
图8 用户交互时序图
展示用户输入→路由判断→LoRA激活→RAG检索→模型推理→溯源输出的完整交互闭环。
                sequenceDiagram
                    participant 用户
                    participant 对话框
                    participant 路由判断
                    participant LoRA专家
                    participant RAG知识库
                    participant 微调模型

                    用户->>对话框: 输入问题(文字/语音/视频/文件)
                    对话框->>路由判断: 识别问题归属学院
                    路由判断->>LoRA专家: 激活对应专家模块
                    LoRA专家->>RAG知识库: 检索定位相关视频片段
                    RAG知识库-->>LoRA专家: 返回相关片段(精确到秒)
                    LoRA专家->>微调模型: 提交上下文+问题
                    微调模型-->>LoRA专家: 生成答案
                    LoRA专家-->>对话框: 答案+溯源链接+时间戳
                    对话框-->>用户: 显示答案+视频跳转链接
                
图9 系统整体架构图
展示用户层→应用层→模型层→数据层四层完整链路。
                graph TD
                    subgraph 用户层["用户层"]
                        U["对话框界面
文字·语音·视频·文件"] end subgraph 应用层["应用层"] R["路由判断
识别归属学院"] E["专家激活
MoE-LoRA动态加载"] S["RAG检索
全量视频片段定位"] A["答案生成
微调模型推理"] T["溯源链接
精确到秒的视频跳转"] end subgraph 模型层["模型层"] G["Gemma 4 12B
量化后16GB显存运行"] M["MoE-LoRA专家模块
各学院独立专家"] end subgraph 数据层["数据层"] D1["全量视频RAG检索库
逾万小时结构化索引"] D2["理实融合知识图谱
四层图数据库"] D3["专业资料库
教材/课标/实训指导书/企业标准"] end U --> R --> E --> S --> A --> T T --> U E --> M A --> G S --> D1 D2 --> S D3 --> D2 style U fill:#ECECFF,stroke:#080808,color:#080808 style R fill:#ECECFF,stroke:#080808,color:#080808 style E fill:#ECECFF,stroke:#080808,color:#080808 style S fill:#ECECFF,stroke:#080808,color:#080808 style A fill:#ECECFF,stroke:#080808,color:#080808 style T fill:#ECECFF,stroke:#080808,color:#080808 style G fill:#ECECFF,stroke:#080808,color:#080808 style M fill:#ECECFF,stroke:#080808,color:#080808 style D1 fill:#ECECFF,stroke:#080808,color:#080808 style D2 fill:#ECECFF,stroke:#080808,color:#080808 style D3 fill:#ECECFF,stroke:#080808,color:#080808
图10 数据治理全生命周期流程图
展示采集→清洗→标注→存储→使用→共享→归档七阶段闭环管理。
                graph LR
                    A["采集
API自动获取
保留原始完整性"] A --> B["清洗
过滤损坏视频
统一编码格式"] B --> C["标注
三级质控机制
双人标注→交叉核对→终审"] C --> D["存储
分类索引
建立备份机制"] D --> E["使用
校内物理内网
授权访问·全程留痕"] E --> F["共享
仅限脱敏结构化数据
严格保护个人信息"] F --> G["归档
完整归档
保留溯源链条"] G -.->|闭环| A style A fill:#ECECFF,stroke:#080808,color:#080808 style B fill:#ECECFF,stroke:#080808,color:#080808 style C fill:#ECECFF,stroke:#080808,color:#080808 style D fill:#ECECFF,stroke:#080808,color:#080808 style E fill:#ECECFF,stroke:#080808,color:#080808 style F fill:#ECECFF,stroke:#080808,color:#080808 style G fill:#ECECFF,stroke:#080808,color:#080808
图11 部署架构图
展示校内物理部署架构,体现数据物理隔离与主权自主可控。
                graph TD
                    subgraph 校园内网["校园内网 · 物理隔离"]
                        subgraph GPU["GPU服务器"]
                            G["RTX 4090(24GB)
Gemma 4 12B推理与微调"] end subgraph CPU["CPU服务器"] C["Intel Xeon Gold
多核心 · 256GB内存
视频预处理 · RAG检索"] end subgraph 存储["集中式存储"] S["视频 · 关键帧 · 模型权重 · 数据库
容量满足全量数据存储"] end subgraph 运维["7×24小时运维"] O["不间断供电 · 闭环处理"] end end G -->|调用| C C -->|读写| S S -->|备份| O style G fill:#ECECFF,stroke:#080808,color:#080808 style C fill:#ECECFF,stroke:#080808,color:#080808 style S fill:#ECECFF,stroke:#080808,color:#080808 style O fill:#ECECFF,stroke:#080808,color:#080808
图12 学生端交互流程图
对比改变前和改变后的学生使用流程。
改变前(学生端现状)
改变后(本项目)
打开课程 → 看到45分钟视频
打开对话框 → 直接问
手动拖进度条找知识点
AI返回答案 + 精确到秒的视频链接
看完才知道是否包含目标内容
先问再精准定位
单个视频孤立存在
所有视频知识点关联成网
只能观看整段视频
对话框 + 四种输入 + 溯源跳转
图13 消融实验方案图
六组对照实验设计,量化每个创新模块的独立增益。✓表示该模块在对应实验中启用。
组别
RAG
LoRA微调
MoE-LoRA专家
PRAG编码
DPO对齐
基线
—
—
—
—
—
纯RAG
✓
—
—
—
—
纯微调
—
✓
—
—
—
去PRAG
✓
—
✓
—
✓
去MoE
✓
—
—
✓
✓
本项目融合
✓
—
✓
✓
✓
图14 同类方案对比表
对比“知行大先生”“校本录播系统”“本项目”三个方案在7个维度上的差异。
对比维度
“知行大先生”
校本录播系统
本项目
训练数据
公共通用语料
不训练模型
全校所有可公开数据
基座模型
DeepSeek 671B MoE
闭源小模型
Gemma 4 12B(原生多模态)
硬件门槛
超百万算力中心
录播服务器
笔记本电脑(16GB)
知识注入方式
外挂 RAG
目录索引
QLoRA 参数内化
学生端体验
通用平台 AI
只能看整段视频
对话框 + 四种输入 + 溯源
数据主权
依赖云端
厂商黑盒
完全本地,100%自主可控
成果归属
联盟/厂商
厂商
学校 100% 拥有
图15 成果产出总览图
展示六项成果的逻辑关系,证明不是零散成果,是一整套体系。
                graph TD
                    subgraph 成果体系["六项成果 · 全部100%归属学校"]
                        A["研究报告
理论总结"] B["核心论文
方法论阐述"] C["软件著作权
交互系统"] D["精标数据集
数据基础"] E["知识图谱
知识底座"] F["模型权重
技术核心"] end D --> E E --> F F --> C C --> B B --> A style A fill:#ECECFF,stroke:#080808,color:#080808 style B fill:#ECECFF,stroke:#080808,color:#080808 style C fill:#ECECFF,stroke:#080808,color:#080808 style D fill:#ECECFF,stroke:#080808,color:#080808 style E fill:#ECECFF,stroke:#080808,color:#080808 style F fill:#ECECFF,stroke:#080808,color:#080808

21 总结

最终判断

别人在做一个应用,
你在建一个范式。

◉ 数据驱动 ◉ 职业本科 ◉ 轻量化 ◉ 原生多模态 ◉ 全链路范式

当其他学校还在用RAG做校园知识库的时候,你已经用全校6年全量数据跑通了职业本科AI赋能的全链路,为124所兄弟院校提供了一个可复制的范本。

对标结论:与28个获奖案例对标,本项目在数据广度(全校6+部门 vs 单一部门)、数据深度(6年全链条 vs 1-2年片段)、技术完整度(全链路 vs 单一技术)、行业站位(范式 vs 应用)四个维度均具备明显优势。核心差距在于“已落地成效”需在项目实施中逐步产生。

核心理念:西电慧通解决“有没有AI”,本项目解决“职业本科能不能用得起、用得好”。慧通在广度,我们在深度。西电已经证明了这个赛道有价值,我们证明了职业本科也有自己的专属方案。

2026 年“数据要素×”大赛 · 陕西分赛 · 科技创新赛道 · 赛题二