淺談大數(shù)據(jù)實驗實訓平臺的建設
1. 大數(shù)據(jù)學科建設現(xiàn)狀
1.1. 大數(shù)據(jù)學科建設現(xiàn)狀
由于高校在大數(shù)據(jù)教育領域的發(fā)展時間并不是很長，所以目前高校在大數(shù)據(jù)專業(yè)方向的教學過程中，主要面臨以下幾個方面的問題：
1) 師資隊伍建設
IT新技術(shù)更新的太快，有限的教師資源很難在有限的時間內(nèi)系統(tǒng)的指導大批學生，設計性和探究性實驗難以開展。
另外，教師教學任務繁重，新技術(shù)開發(fā)課程周期長，內(nèi)部講師培養(yǎng)周期長，很多院校在大數(shù)據(jù)技術(shù)課程的儲備上明顯不足。
2) 教學實驗環(huán)境
大數(shù)據(jù)實驗一人操作多臺機器，傳統(tǒng)機房是一人一臺操作，傳統(tǒng)的機房實驗室，已經(jīng)無法滿足大數(shù)據(jù)實驗操作的要求。
傳統(tǒng)機房的現(xiàn)有服務器資源，也大多無法滿足大數(shù)據(jù)實驗的高計算、高性能要求。
快速更新的技術(shù)，導致現(xiàn)在教學實驗環(huán)境無法快速適應大數(shù)據(jù)實驗教學的要求。
3) 課程體系建設
由于新開專業(yè)，無參考標準體系，教師在編制大數(shù)據(jù)實驗課程方面缺乏積累，教學內(nèi)容開發(fā)緩慢。大數(shù)據(jù)實驗需要大量的真實行業(yè)數(shù)據(jù)，無法通過模擬進行教學。
所以教學內(nèi)容缺失主要是：缺乏真實數(shù)據(jù)；缺乏行業(yè)案例。
模擬數(shù)據(jù)的教學無法讓學生體會到大數(shù)據(jù)的真實應用，造成學生動手能力難以提升。
4) 科研新挑戰(zhàn)
數(shù)據(jù)的激增，勢必由量變引起質(zhì)變，從而使科研人員的思維和行為模式在傳統(tǒng)學科的研究領域發(fā)生變化，如何利用大數(shù)據(jù)技術(shù)及優(yōu)勢，找到本學科研究成果的新視角，已經(jīng)成為當前高校研究的重要課題。
1.2. 大數(shù)據(jù)實驗實訓平臺建設的必要性
綜合目前大數(shù)據(jù)學科建設所面臨的問題，對設有大數(shù)據(jù)專業(yè)或?qū)I(yè)方向的學校教師和學生在教學過程中產(chǎn)生很大的影響，教師面臨著任務重、備課難、實驗課難開展、發(fā)論文沒思路等困擾，而學生又面臨著聽不懂、不會做、不會用、學不會的煩惱。
所以大數(shù)據(jù)學科如何實現(xiàn)標準教學、如何評估學生綜合能力、如何解決師資缺乏、如何保障科研成果、學生就業(yè)如何滿足企業(yè)需求是高校在大數(shù)據(jù)學科建設中必須要解決的問題。
因此，高校建設一個專業(yè)的大數(shù)據(jù)實驗實訓平臺，除了必要的符合當前虛擬化潮流的高端服務器及網(wǎng)絡設備之外，其中的重點是建設集教學、實驗、實訓、科研綜合于一體的大數(shù)據(jù)實訓平臺，全方位支撐高校大數(shù)據(jù)教學及科研的需求是必要的和緊迫的。
1.3. 大數(shù)據(jù)實驗實訓平臺的建設原則
1) 理論與實踐相結(jié)合
理論與實踐相結(jié)合是知識經(jīng)濟背景下歷史發(fā)展的必然要求。在知識經(jīng)濟社會，高校是理論產(chǎn)生和傳播的主體，積累并傳承專業(yè)方向理論知識，指導學習者的實踐活動與生產(chǎn)技能訓練。多國國際知名高校案例經(jīng)驗表明，對于我國起步較晚的大數(shù)據(jù)學科方向建設發(fā)展，該專業(yè)應在理論與實踐相結(jié)合的基礎上側(cè)重于實踐，才能厚積薄發(fā)、趕超國際水準。
2) 適應社會人才需求
高端大數(shù)據(jù)人才培養(yǎng)是大數(shù)據(jù)實驗實訓平臺建設的重要目標。當前各地院校在人才培養(yǎng)過程中必須以社會崗位的實際需求作為根本出發(fā)點，深入了解電信、零售、電力、銀行、證券、期貨、基金等眾多行業(yè)機構(gòu)對大數(shù)據(jù)學科高端人才的需求。根據(jù)權(quán)威機構(gòu)預測，未來3-5年，中國需要180萬大數(shù)據(jù)人才，當前就有30萬，缺口達到150萬之巨。
3) 國際化標準
大數(shù)據(jù)在全球教育領域?qū)儆谝婚T新興專業(yè)。得力于國際大數(shù)據(jù)地位的先天優(yōu)勢，該專業(yè)教育在歐美迅速發(fā)展，并在教育領域建立了國際性話語權(quán)。我國大數(shù)據(jù)學科方向建設的天然優(yōu)勢就是國內(nèi)大數(shù)據(jù)的不斷革新與發(fā)展，國際話語權(quán)不斷增強�；诖藘�(yōu)勢，必須在參照國家標準設計人才培養(yǎng)模式的基礎上，全面參與該專業(yè)方向建設的國際標準的制定。
4) 堅持創(chuàng)新
創(chuàng)新必須是與時俱進，國內(nèi)信息技術(shù)的發(fā)展為大數(shù)據(jù)的創(chuàng)新提供了沃土，但這些遠遠不夠。大數(shù)據(jù)教學實驗室建設首先樹立創(chuàng)新機制、激勵制度；其次是尊重鼓勵創(chuàng)新人才；再者是為了大數(shù)據(jù)創(chuàng)新提供必要的物質(zhì)條件。各類院校都可以選擇一條適合自己創(chuàng)新理念和模式，有利于促進院�？缭绞桨l(fā)展與品牌影響力提升。
5) 專業(yè)深度與廣度
專業(yè)的深度與廣度并重是加強大數(shù)據(jù)實驗實訓平臺建設與創(chuàng)新的基本條件，也是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的必然目標導向。不斷縱向深入大數(shù)據(jù)的研究和創(chuàng)新大數(shù)據(jù)新的專業(yè)方向交叉點是推動新理論、新技術(shù)、新產(chǎn)品的必要條件。深度建設有利于大數(shù)據(jù)解決更為深層次性的大數(shù)據(jù)問題及工具方法創(chuàng)新；廣度可以使大數(shù)據(jù)與更多專業(yè)相結(jié)合，發(fā)展更多前沿方向與分支研究領域，同時也有利于解決各行各業(yè)出現(xiàn)的大數(shù)據(jù)的問題。
6) 產(chǎn)學研一體化
堅持產(chǎn)學研一體化建設是科教興國戰(zhàn)略中必然的制度安排。在科教興國戰(zhàn)略體系中，教育、科研、生產(chǎn)相結(jié)合是一項重要的戰(zhàn)略措施，國家出臺了一系列政策法規(guī)支持高等學校推行教育、科研、生產(chǎn)相結(jié)合。當前國內(nèi)，一方面產(chǎn)學研合作沒有形成很好的發(fā)展模式，另一方面部分院校對大數(shù)據(jù)方向定位及建設理念不恰當，從而造成國內(nèi)大數(shù)據(jù)的研究成果能夠解決國內(nèi)大數(shù)據(jù)行業(yè)問題的不多，院校亦不能從這個模式中為其獲得長久的發(fā)展經(jīng)濟動力。
7) 院校特色定位
在借鑒國際經(jīng)驗和標準基礎上，各類院校在建設大數(shù)據(jù)實驗實訓平臺的過程中，應該按照各自的總體發(fā)展目標為核心，依據(jù)自身區(qū)域、師資力量、專業(yè)方向優(yōu)勢定位，采取不同模式的專業(yè)方向建設來確定自身的發(fā)展特色定位。我國經(jīng)濟發(fā)展各區(qū)各省都呈現(xiàn)不均衡狀態(tài)，各行各業(yè)改革發(fā)展深度不一致，為院校大數(shù)據(jù)學科方向建設的特色定位提供了發(fā)展空間。
2. 大數(shù)據(jù)實驗實訓平臺建設方案
2.1. 核心理念
利用云計算、虛擬化、人工智能及大數(shù)據(jù)主流框架，搭建教學系統(tǒng)和集群，將大數(shù)據(jù)核心技術(shù)應用到企業(yè)真實項目中，將理論知識、實驗教學和大數(shù)據(jù)項目實踐融合，由淺入深，循序漸進，逐步提升學生的專業(yè)技能和項目實踐能力，使得學生與企業(yè)人才需求無縫銜接，真正解決大數(shù)據(jù)人才缺口問題。
2.2. 平臺架構(gòu)
針對高校大數(shù)據(jù)教學、管理、人工智能、項目實踐、科研服務、創(chuàng)新孵化等實際應用場景，系統(tǒng)提供穩(wěn)定、可靠、高效的軟硬一體化大數(shù)據(jù)教學科研環(huán)境，以及完善的課程體系、項目數(shù)據(jù)和視頻、多樣化的教學手段和豐富的實戰(zhàn)案例，以快速開發(fā)平臺為基礎，快速的構(gòu)建大數(shù)據(jù)實驗實訓平臺。整體平臺架構(gòu)圖如下所示：
圖 - 架構(gòu)圖
各組成部分說明如下：
1) 大數(shù)據(jù)教學資源
大數(shù)據(jù)教學資源提供教學實驗指導手冊、在線視頻、資源包、實驗示例代碼、數(shù)據(jù)源等，讓學生學以致用。通過在線學習、在線測驗、在線實驗、在線實訓、綜合分析及自主設計等多層次的實驗操作，為大數(shù)據(jù)教學提供一個完整的一體化實驗教學體系。
項目案例提供行業(yè)典型項目及行業(yè)數(shù)據(jù)，項目涉及互聯(lián)網(wǎng)、運營商、金融、電子商務、政府等多個領域，每個項目案例都配備項目指導手冊、講解視頻、行業(yè)數(shù)據(jù)及項目代碼。
2) 大數(shù)據(jù)教學平臺
實驗實訓使用的服務器采用虛擬化技術(shù)，實現(xiàn)硬件資源集中調(diào)度和管理，以大數(shù)據(jù)Hadoop及其生態(tài)組件為核心構(gòu)建軟件系統(tǒng)，支持更多的大數(shù)據(jù)高級特性，經(jīng)過專業(yè)的性能優(yōu)化和軟硬件集成測試，保證平臺的高性能與穩(wěn)定可靠運行。
主要包括2個子系統(tǒng)：實驗實訓系統(tǒng)、云計算管理系統(tǒng)。
3) 基礎支撐平臺
傳統(tǒng)的信息管理類系統(tǒng)普遍包含業(yè)務信息的增刪改查和導入導出功能、流程審批功能、表單填報功能、可視化展示功能、中國式報表功能，系統(tǒng)中70%~80%都是此類功能。通過可配置化的快速開發(fā)平臺，使用可配置的方式“零代碼”輕松的實現(xiàn)這些功能。
圖 - 架構(gòu)圖
大數(shù)據(jù)教學平臺相關(guān)的功能模塊都是通過快速開發(fā)平臺進行配置化+插件開發(fā)的方式完成的。
另外，快速開發(fā)平臺還可以開放給科研人員，這樣科研人員的精力能夠更專注在科學研究上，而不需要關(guān)注代碼本身，技術(shù)平臺的搭建能夠以一種非常輕松、高效的方式來完成。
2.3. 平臺優(yōu)勢
1) 真機實驗訓練
實驗室各模塊相對獨立，交互式的實驗任務、實驗指導、項目上機操作，教學視頻、考試評分、數(shù)據(jù)監(jiān)控等，保障學生靈活、快速的掌握大數(shù)據(jù)核心技術(shù)及項目開發(fā)能力。
2) 完善的課程體系
多年的大數(shù)據(jù)項目建設和IT培訓經(jīng)驗沉淀的經(jīng)驗，研發(fā)出行業(yè)領先的大數(shù)據(jù)課程體系。
3) 典型大數(shù)據(jù)項目案例
提供多個行業(yè)典型應用案例數(shù)據(jù)包和視頻包，以及配套實驗手冊，邊學邊練通過實際項目上機演練，多方位學習及訓練，做到學生與企業(yè)需求無縫銜接，真正解決大數(shù)據(jù)人才缺口問題，行業(yè)案例還在不斷的補充中。
4) 交互式學習模式
提供完善課程體系、在線學習系統(tǒng)，以大數(shù)據(jù)課程學習、在線視頻、習題、線上測試、線上實驗為主線，典型案例貫穿知識點的學習模式，確保學生掌握大數(shù)據(jù)項目技能。
5) 充分支撐科研工作
整合了數(shù)據(jù)采集、數(shù)據(jù)集市、數(shù)據(jù)建模、數(shù)據(jù)視圖等，提供行業(yè)數(shù)據(jù)及案例用于基礎研究，科研人員通過該系統(tǒng)方便對行業(yè)數(shù)據(jù)進行統(tǒng)計分析，按需求生成可視化數(shù)據(jù)報表。
6) 企業(yè)級硬件配置
基于業(yè)界最先進的硬件平臺，采用企業(yè)級融合架構(gòu)，具備高效融合、安全穩(wěn)定、性能卓越、敏捷易用等特點。
2.4. 大數(shù)據(jù)教學資源建設
為了滿足院�？焖匍_設大數(shù)據(jù)相關(guān)課程實驗的需求，實驗室配套相關(guān)課程體系、實驗手冊、在線視頻、在線試題庫等課程資源。
1) 課程體系
基于CDIO工程教育理念，設計了大數(shù)據(jù)工程型人才的教育解決方案，以研發(fā)到產(chǎn)品運行為載體，讓學生以主動、實踐的方式掌握大數(shù)據(jù)專業(yè)技能，培養(yǎng)具備大數(shù)據(jù)基礎知識、個人能力、人機團隊能力和項目動手的綜合型人才。
大數(shù)據(jù)課程體系根據(jù)不同學歷和職業(yè)方向設置不同的課程學習路線，針對每門課程提供教學實驗指導手冊、在線視頻、資源包、實驗示例代碼等，讓學生學以致用；不僅學習大數(shù)據(jù)技術(shù)有的基本理論和原理，學習大數(shù)據(jù)平臺架構(gòu)的技術(shù)實現(xiàn)及其在行業(yè)內(nèi)的典型應用。通過在線學習、原理驗證、實訓應用、綜合分析及自主設計等多層次的實驗操作，為大數(shù)據(jù)教學提供一個完整的一體化的實驗教學體系，快速提升實操技能，最終培養(yǎng)高素質(zhì)、應用復合型大數(shù)據(jù)人才。
“數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)”專業(yè)（專業(yè)代碼080910T）強調(diào)培養(yǎng)具有多學科交叉能力的大數(shù)據(jù)人才。該專業(yè)重點培養(yǎng)具有以下三方面素質(zhì)的人才：一是理論性的，主要是對數(shù)據(jù)科學中模型的理解和運用；二是實踐性的，主要是處理實際數(shù)據(jù)的能力。三是應用性的，主要利用大數(shù)據(jù)的方法解決具體行業(yè)應用問題的能力。
2) 專業(yè)課
是為了讓學生了解大數(shù)據(jù)概況，了解大數(shù)據(jù)產(chǎn)品、技術(shù)的特性、實現(xiàn)原理和應用方向。專業(yè)課程包括大數(shù)據(jù)概論、scala語言、Linux技術(shù)、JavaEE項目開發(fā)、大數(shù)據(jù)分析Python、概率論與數(shù)理統(tǒng)計、數(shù)據(jù)庫技術(shù)七門課程。
3) 核心課
是為了讓學生了解并初步掌握目前流行的大數(shù)據(jù)主流技術(shù)、了解其特點以及使用的場景，具備一定的大數(shù)據(jù)系統(tǒng)架構(gòu)能力，并能自行開展簡單的大數(shù)據(jù)應用開發(fā)。核心課程包括基于Hadoop的應用開發(fā)技術(shù)、大數(shù)據(jù)挖掘技術(shù)、R語言、大數(shù)據(jù)實時計算技術(shù)與應用、Spark數(shù)據(jù)處理技術(shù)、大數(shù)據(jù)可視化技術(shù)、機器學習、數(shù)據(jù)分析技術(shù)八門課程。
4) 實訓及實踐課程
針對每門課程提供教學實驗指導手冊、操作視頻、實驗資源包、實驗示例代碼等，讓學生學以致用、用以促學；不僅學習大數(shù)據(jù)技術(shù)的基本理論和原理，還學習大數(shù)據(jù)平臺架構(gòu)的技術(shù)實現(xiàn)，以及其在行業(yè)內(nèi)的典型應用等，如大數(shù)據(jù)應用開發(fā)綜合項目、大數(shù)據(jù)平臺搭建與管理綜合項目、運營商數(shù)據(jù)分析、電商數(shù)據(jù)分析等。
2.6.1 實驗手冊
實驗手冊選用與產(chǎn)學合作協(xié)同育人項目高等院�！稊�(shù)據(jù)科學與大數(shù)據(jù)技術(shù)》系列規(guī)劃教材配套的實驗手冊。所有案例均來源于企業(yè)，貼近實戰(zhàn)，內(nèi)容充實，拒絕空洞。每個實驗都配有實驗描述、實驗環(huán)境、相關(guān)技能、知識點、效果圖、詳細實驗步驟及總結(jié)。