新用戶(hù)登錄后自動(dòng)創(chuàng )建賬號
登錄2015年12月10-12日,由中國計算機學(xué)會(huì )(CCF)主辦,CCF大數據專(zhuān)家委員會(huì )承辦,中國科學(xué)院計算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦,以“數據安全、深度分析、行業(yè)應用”為主題的 2015中國大數據技術(shù)大會(huì ) ( Big Data Technology Conference 2015,BDTC 2015)在北京新云南皇冠假日酒店盛大開(kāi)幕。
2015中國大數據技術(shù)大會(huì )第三天的交通與旅游大數據分論壇中,來(lái)自北京市交通運行監測調度中心、神州專(zhuān)車(chē)、高德、 攜程、途牛、途家的六位專(zhuān)家與教授分享了政府和企業(yè)利用大數據在交通與旅游方面的實(shí)踐。本次論壇由CSDN副總編董世曉主持。
CSDN副總編 董世曉
北京市交通運行監測調度中心副主任張可:北京市綜合交通運行數據體系建設與應用
北京市交通運行監測調度中心(TOCC) 建成于 2010年底,2011年5月機構設立,是北京市綜合交通運輸協(xié)調體系的重要組成部分?,F已形成運行監測體系、協(xié)調調度體系、信息服務(wù)體系為一體的總體業(yè)務(wù)格局。
北京市交通運行監測調度中心副主任 張可
張可談到北京市面向綜合交通運行分析的監測數據體系。針對龐大的基礎數據內容和數據量,重點(diǎn)圍繞綜合交通監測及運行分析需求,通過(guò)對數據層的歸納梳理,結合數據來(lái)源、數據接入方式統一設計數據存儲結構。圍繞城市路網(wǎng)區域和路段的運行特征,構建了交通指數、運行速度、擁堵持續時(shí)間等7個(gè)指標項;根據AFC和運營(yíng)數據,構建軌道交通動(dòng)態(tài)客流指標、軌道交通客運量指標、軌道列車(chē)運行指標;通過(guò)出租車(chē)GPS數據和計價(jià)器數據,構建出租車(chē)運力指標、運營(yíng)特性指標、運營(yíng)安全與規范指標;通過(guò)對交叉領(lǐng)域關(guān)聯(lián)性較強數據項之間的深入挖掘,提出了反映城市綜合交通運行特點(diǎn)的相關(guān)指標,如軌道交通客運量占比、公交運送速度比、城際客運量及占比等綜合指標定制化多粒度復合特征提取。
該中心同時(shí)建立了集綜合交通動(dòng)態(tài)運行監測分析、視頻資源管理應用、公眾信息統一發(fā)布于一體的省級綜合交通運行監測業(yè)務(wù)平臺。其中視頻資源管理應用平臺包括數字化的視頻資源管理平臺、基于GIS的視頻應用平臺、基于圖像智能提取技術(shù)的視頻智能分析平臺。統一的公眾信息發(fā)布平臺通過(guò)信息獲取、信息編輯、信息審核、信息發(fā)布、信息歸檔、發(fā)布渠道對接、統計分析實(shí)現進(jìn)真正一體化的、多方式的綜合出行服務(wù)。在整合既有交通行業(yè)在線(xiàn)服務(wù)的基礎上,集成公交、公共自行車(chē)、軌道交通、省際客運、航班、鐵路、停車(chē)等多種方式。
演講結尾,張可表示未來(lái)北京市交通運行監測調度中心將開(kāi)放共享數據資源與仿真工具環(huán)境,為交通數據專(zhuān)業(yè)機構和人員提供從綜合交通數據查看、導出、分析、仿真和可視化展示的一體化支撐。
神州專(zhuān)車(chē)首席架構師李思:神州專(zhuān)車(chē)時(shí)空大數據處理實(shí)踐
神州專(zhuān)車(chē)首席架構師李思帶來(lái)的分享“神州專(zhuān)車(chē)時(shí)空大數據處理實(shí)踐 ”。神州專(zhuān)車(chē)是一個(gè)成立于今年年初的互聯(lián)網(wǎng)出行企業(yè),目標是提供高端的出行體驗。神州專(zhuān)車(chē)中:安全是基礎,管理和技術(shù)雙管齊下,以嚴格的制度對司機進(jìn)行管理和通過(guò)車(chē)聯(lián)網(wǎng)監控減少不良駕駛行為,確保行車(chē)安全;效率是關(guān)鍵,通過(guò)改進(jìn)技術(shù)提高司機效率、訂單滿(mǎn)足率、車(chē)輛利用率;增長(cháng)是目標,對用戶(hù)行為的量化分析,實(shí)現精確營(yíng)銷(xiāo)。
神州專(zhuān)車(chē)首席架構師 李思
整體架構中,通過(guò)車(chē)聯(lián)網(wǎng)/OBD收集數據并進(jìn)行實(shí)時(shí)處理;同時(shí)離線(xiàn)分析機器學(xué)習形成預測模型對服務(wù)前端進(jìn)行調度、定價(jià);司機/乘客前端請求返回到調度、財務(wù)等子系統內,再次進(jìn)行數據分析。后面有一套商業(yè)智能處理分析系統,以MySQL方式數據聚集在數據庫中,最后生成業(yè)務(wù)報表。同時(shí)在前端收集了很多用戶(hù)的訪(fǎng)問(wèn)日志,形成一個(gè)用戶(hù)事件流,方便對用戶(hù)行為進(jìn)行分析。通過(guò)駕駛行為分析與報警以確保用戶(hù)乘車(chē)安全;對司機油耗、有效里程分析等方式提高效率??臻g上進(jìn)行網(wǎng)格化劃分,網(wǎng)格內部按時(shí)間對供給和需求預測,提高調度效率;用戶(hù)數據分析平臺通過(guò)用戶(hù)歷史訂單、訪(fǎng)問(wèn)日志、優(yōu)惠券的領(lǐng)取和使用情況、社交網(wǎng)絡(luò )的分享記錄等數據分析實(shí)現用戶(hù)畫(huà)像和精準營(yíng)銷(xiāo)。具體的構建方法為:
1.將用戶(hù)操作以及由其引發(fā)的系統狀態(tài)變化都定義為事件;
2.把多個(gè)異構數據源中的事件按用戶(hù)聚集;
3.把同一用戶(hù)的事件按時(shí)間發(fā)生的時(shí)間排序,成為用戶(hù)事件流;
4.按業(yè)務(wù)需求定義一批基于用戶(hù)事件流的基本函數(API);
5.使用Hive或者M(jìn)apReduce進(jìn)行數據分析。
演講最后,李思分享了神州專(zhuān)車(chē)在大數據處理方面的心得。對于初創(chuàng )型企業(yè),會(huì )存在有租用機房資源偏緊、大規模營(yíng)銷(xiāo)活動(dòng)容易造成系統過(guò)載等問(wèn)題。這時(shí)企業(yè)可與第三方企業(yè)和高校有緊密合作,同時(shí)可將非核心部件(降低系統部件之間的耦合度)、大規模營(yíng)銷(xiāo)活動(dòng)、第三方合作、短時(shí)的計算密集型任務(wù)在云上部署(Iaas),達到安全性提高、可靠性提高、靈活性提高、成本可控的效果。
高德交通大數據資深專(zhuān)家方興:大數據如何指導旅游出行
高德交通大數據資深專(zhuān)家方興演講主題是“大數據如何指導旅游出行”。高德所生產(chǎn)的、所消費的全部都是數據。通過(guò)這些數據我們能夠更好的理解出行、地理信息以及相關(guān)的服務(wù),為日后的商業(yè)提供更好的支持。
現場(chǎng),方興展示數據分析得出的國內交通狀況。高德地圖通過(guò)實(shí)時(shí)數據處理,實(shí)現實(shí)時(shí)路況與事件、實(shí)時(shí)交通與導航。高德是數據公司,所有的工作都是圍繞著(zhù)數據完成的,最底層的也是傳統的信息系統最核心的部分就是地理信息。其技術(shù)架構也是業(yè)務(wù)架構包括:前臺應用在線(xiàn)服務(wù),包括導航、定位、搜索、導航、實(shí)時(shí)交通等等。每一個(gè)服務(wù)單獨拿出來(lái)都是一套非常龐大的系統。最前端主要是分成幾大塊,第一大塊就是高德地圖應用APP。第二塊是開(kāi)放平臺,為第三方的合作伙伴提供開(kāi)放的數據接口,提供導航服務(wù)、公交服務(wù)、定位。第三塊就是最近著(zhù)重做的車(chē)聯(lián)網(wǎng),車(chē)載設備,未來(lái)的汽車(chē)里面內置。第四塊中國蘋(píng)果地圖的所有數據都是由高德提供的;Hbase、阿里RDS、緩存等技術(shù)實(shí)現在線(xiàn)數據存儲;核心數據統一存儲方面,利用阿里ODPS(由5000個(gè)節點(diǎn)構成的集群)支持SQL/MR/Spark/Storm多種方式,平臺的數據每天都會(huì )會(huì )合到ODPS上,然后可以進(jìn)行分鐘級的數據報表、數據生成、數據發(fā)布。整個(gè)地圖引擎、導航引擎、實(shí)時(shí)交通引擎都是通過(guò)這種方式來(lái)工作;同樣利用TT生產(chǎn)服務(wù)器實(shí)時(shí)日志采集。
高德交通大數據資深專(zhuān)家 方興
基于這些數據,高德做了很多數據挖掘方面的工作:一是通過(guò)結合軌跡熱力圖與現有路網(wǎng),發(fā)布新路與過(guò)期路信息;二是通過(guò)分析通車(chē)流量變化和用戶(hù)上報事件,對封路和交通事件實(shí)時(shí)監測;三是對歷史車(chē)速的分析,構建道路速度模型,用來(lái)做路況預測。這些方式方法進(jìn)行關(guān)聯(lián)以后,可信度或者質(zhì)量、準確度就會(huì )有很大的上升。有了這些方法,用戶(hù)在做路線(xiàn)規劃或者確定旅行時(shí)間就會(huì )更加精準。
高德地圖通過(guò)數據挖掘可以面向交通,面向用戶(hù)的出行提供更好的服務(wù),未來(lái)的愿景就是實(shí)現智能交通。
攜程基礎大數據高級數據分析經(jīng)理于磊:攜程基礎大數據架構實(shí)踐
攜程基礎大數據高級數據分析經(jīng)理于磊分享的是“攜程基礎大數據架構實(shí)踐”。在OTA行業(yè)對于電商公司,可能它的大數據應用相對來(lái)說(shuō)還是比較簡(jiǎn)單的。比如攜程網(wǎng)站,它有15、16個(gè)業(yè)務(wù)線(xiàn),但是如果打開(kāi)京東或者天貓一號店,會(huì )發(fā)現它的類(lèi)目項有4000多個(gè)。
OTA公司數據具有業(yè)務(wù)線(xiàn)差異大、復雜度高等特點(diǎn),其大數據落地場(chǎng)景往往是分析報表、AB test平臺、用戶(hù)中心、個(gè)性化推薦欄位、精準化運營(yíng)等方面。目前攜程中有著(zhù)20個(gè)BU以及相應的數據團隊,但同樣面臨著(zhù)數據來(lái)源多、標準不一、ETL流程管理困難、全司級跨BU數據使用困難等問(wèn)題。
攜程基礎大數據高級數據分析經(jīng)理 于磊
目前攜程大數據架構中,大數據架構共分為精準化應用層、通用化配置層、算法引擎層、日志層、數據源層五層。其中數據源層用于規范埋點(diǎn)注冊、生成,以及進(jìn)行環(huán)境實(shí)時(shí)校驗(事前)、ETL數據校驗(事中)、離線(xiàn)校驗告警(事后);日志層中利用Trace MQ (Kafka等)進(jìn)行離線(xiàn) & 實(shí)時(shí)數據接入,并開(kāi)放了MQ、API Service、Hive 表對外接口;算法引擎層中,通過(guò)離線(xiàn)用戶(hù)畫(huà)像、相似相關(guān)商品、規則挖掘、主題挖掘(HBase、Redis)方式和實(shí)時(shí):用戶(hù)意圖(HBase、Redis)分析,以及Hive、ES等方式,實(shí)現范驗證畫(huà)像審核、ETL 中Schema識別、測試環(huán)境血緣審核;通用化配置層以選人魔方(廣告、 SMS、APP推送、EDM)、個(gè)性化推薦平臺、選品平臺等通用化精準營(yíng)銷(xiāo)平臺(開(kāi)發(fā)中),實(shí)現數據出口;精準化應用層用于推薦欄位和個(gè)性化廣告投放。
目前攜程實(shí)現了數據支點(diǎn)的元數據管理、數據規范、統一維表、統一數據接口、標準化指標、安全管理數據治理流程。 元數據標準流程:目前攜程做了一些自動(dòng)化的流程方面的管理。在各個(gè)團隊創(chuàng )建數據表時(shí),統一采集數據的Schema,跟定期存儲的數據進(jìn)行比較;統一監控ETL之間、流程與流程、交付與交付之間的關(guān)系。當一個(gè)數據源或者流程的schema有可能影響到其他的ETL或者其他團隊的工作,能被監控出來(lái);通過(guò)血緣分析,通知下游。
在QA環(huán)節,于磊對與會(huì )嘉賓提出的埋點(diǎn)技術(shù)和用戶(hù)推薦時(shí)考慮的維度進(jìn)行了詳細的解答。
途牛大數據總監孟敬慈:途牛旅游大數據應用實(shí)踐
途牛大數據總監孟敬慈進(jìn)行了題為“途牛旅游大數據應用實(shí)踐”的演講。他的演講分為途牛業(yè)務(wù)模式、旅游行業(yè)特性 、數據解決方案三部分展開(kāi)。目前途牛業(yè)務(wù)模式分為旅游電商、金融科技、影視傳媒三塊。目前作為重心來(lái)說(shuō)最主要還是途牛旅游這一塊。途牛最早是從跟團自助做起,跟攜程的模式不一樣,現在也有機票、酒店、門(mén)票、簽證、wifi,但是傳統上來(lái)說(shuō)最主要是跟團和自助。
途牛大數據總監 孟敬慈
旅游行業(yè)具有非標準化、低頻次、強時(shí)效性+高客單價(jià)特點(diǎn)。旅游是非標準性產(chǎn)品,由此可產(chǎn)生非標準化衍生需求:資源如何組合?途牛在這方面采用的是產(chǎn)品 到相似產(chǎn)品推廣和資源到關(guān)聯(lián)資源自動(dòng)打包、交叉銷(xiāo)售的方式。他談到,途牛并非完全低頻,至少在A(yíng)PP時(shí)代,應是處于高低頻之間。途牛有一個(gè)目的地資源,基于LBS的推薦系統,可向用戶(hù)推薦旅游周?chē)难莩龌蛘叱院韧鏄?lè )實(shí)現travel goes mobile。在供應商短已經(jīng)做到較高頻次,途牛供應商平臺N-Booking現已有注冊用戶(hù)數幾萬(wàn)、SKU通過(guò)NB錄入占比85%以上、SKU數達幾百萬(wàn)、訂單NB確認率95%以上。
接下來(lái), 孟敬慈談到了供應商金控模式,采用旅游業(yè)平臺+投資機構和旅游業(yè)供應商利用平臺數據共同投資模式。旅游產(chǎn)品時(shí)效性等特性衍生出風(fēng)險管理與價(jià)格管理需求,產(chǎn)生了對應的風(fēng)險管理、價(jià)格管理的定量解決方案、新的產(chǎn)品與模式。他主要介紹了最優(yōu)庫存與定價(jià)策略和收益管理策略。售前:確定銷(xiāo)售期之前需采購的初級庫存最優(yōu)量,作為與供應商談判的目標,同時(shí)制定與最終獲取庫存量相應的價(jià)格策略;售中:銷(xiāo)售期進(jìn)入到一定階段后,若銷(xiāo)量顯著(zhù)高于售前預期,計算需要補進(jìn)的次級庫存最優(yōu)量,以及相應定價(jià)策略,若銷(xiāo)量顯著(zhù)低于預期,調整價(jià)格策略并進(jìn)行相應措施。在收益管理中,將市場(chǎng)細分為商務(wù)旅客和休閑旅客,制定不同的定價(jià)策略,差異化推送產(chǎn)品,具體地實(shí)施方案為Demand Forecast和Inventory Allocation兩種。演講最后他總結到旅游產(chǎn)品與金融需要緊密結合,才能做到最好的收益管理。
途家BI總監秦涌:途家網(wǎng)數據分析的商業(yè)實(shí)踐
途家BI總監秦涌分享的題目“途家網(wǎng)數據分析的商業(yè)實(shí)踐”。他簡(jiǎn)單介紹到途家是全球公寓民宿預訂平臺,在國內覆蓋265個(gè)城市,海外1038個(gè)城市。他本次分享的重點(diǎn)在于:數據的價(jià)值在于技術(shù)和商業(yè)的結合;數據在技術(shù)方面縱深發(fā)展,在商業(yè)實(shí)踐方面百花齊放。秦涌本次演講通過(guò)分享4個(gè)途家網(wǎng)在商業(yè)實(shí)踐方面的案例,與大家探討:“數據如何在商業(yè)層面達到和業(yè)務(wù)的互動(dòng)”。
途家BI總監 秦涌
和傳統的OTA相比,途家業(yè)務(wù)具有3+人以上的家庭出游的度假需求占比較多;30種產(chǎn)品類(lèi)型可供選擇:公寓、復式、別墅、游艇等;20%的用戶(hù)決策周期(從開(kāi)始瀏覽到購買(mǎi))超過(guò)1天三個(gè)特征。因此需要解決度假需求往往沒(méi)有明確的目的地或比較模糊,需要幫助用戶(hù)解決“去哪里”的問(wèn)題;產(chǎn)品類(lèi)型多,需要幫助用戶(hù)確定“住什么房子”:用戶(hù)決策慢,需要幫用戶(hù)加速決策,回答“這些房子怎么樣”三個(gè)問(wèn)題。
通過(guò)對“去哪兒”案例一中的數據分析,途家得出以下三個(gè)特點(diǎn):
1.不管任何時(shí)候,同城預訂訂單占比很大;
2.大部分時(shí)候,周邊游僅次于同城預訂;
3.城市之間的往來(lái)度假是有規律的:進(jìn)入冬天,東北和西南去三亞的人增幅最大。
因此,途家對應的開(kāi)展了三個(gè)業(yè)務(wù)應用:
1.在途家PC首頁(yè)根據用戶(hù)所在地,做了目的地智能推薦;
2.智能推薦里面明確了本城市房屋推薦、城市周邊推薦,其他城市推薦;
3.加強了線(xiàn)下門(mén)店的同城品牌推廣。
案例二中,通過(guò)收集用戶(hù)歷史的數據發(fā)現規律。根據總結出來(lái)的規律,賦予每個(gè)房屋適合的出行目的,便于用戶(hù)選擇。案例三中,加強用戶(hù)信息需要一些感性的評價(jià):閱讀評論,但有兩個(gè)問(wèn)題:評論文字多,且一般在靠后的流程(詳情頁(yè))。通過(guò)文本挖掘,概括了每個(gè)房屋的印象,并提前到了列表頁(yè)展示。
這些案例緊緊圍繞途家業(yè)務(wù),設計計算方法,輸出分析結果、并落地驅動(dòng)業(yè)務(wù)作出改善,秦涌給出3個(gè)啟示:一是數據分析的出發(fā)點(diǎn)一定和具體業(yè)務(wù)相關(guān),如測量業(yè)務(wù)與預測業(yè)務(wù);
二是數據分析沒(méi)有固定的方法,測量業(yè)務(wù)往往是在深度理解業(yè)務(wù)的基礎上的簡(jiǎn)單運算,數學(xué)模型常使用在業(yè)務(wù)預測上;三是數據分析人員在業(yè)務(wù)單元的輪崗是提升數據分析結果的價(jià)值、加強數據和業(yè)務(wù)互動(dòng)的有效辦法。
【號外!】執惠私享會(huì )第二站將于12月19日(周六)下午在深圳舉辦,此次活動(dòng)邀請到了多家深圳旅游O2O代表企業(yè)的創(chuàng )始人、高管,一起探討“2016年如何在‘互聯(lián)網(wǎng)+旅游’里煉金”的話(huà)題。
除了干貨分享外,執惠旅游還將在現場(chǎng)抽出幸運觀(guān)眾送出由安科運達提供的塞舌爾、巴厘島往返機票!趕快約起來(lái)吧!報名請戳?“我要報名”!