電(diàn)話(huà):13339436556
1項目背景
數(shù)據分(fēn)析、雲計(jì)算(suàn)等新興技(jì)術(shù)在農(nóng)業(yè)領域的(de)應用(yòng)探索幾年(nián)前就(jiù)已經開(k āi)始,而随著(zhe)相(xiàng)關技(jì)術(shù)手段的(de)成熟和(hé)應用(yòng)場(chǎng)景的(d↓e)豐富, 其技(jì)術(shù)應用(yòng)深度和(hé)廣度已經有(yǒu)了(le)極大(dà)的(de )提升,在“互聯網+”的(de)大(dà)潮下(xià),我國(guó)農(nóng)業(yè)大(dà)數×(shù)據正在迅速發展,農(nóng)業(yè)部印發《農(nóng)業(yè)農(nóng)村(cūn)大(dà)數(shù)據試點方案》鼓勵基礎較好(hǎo)的(de)₩地(dì)方結合自(zì)身(shēn)實際,積極探索發展農(nóng)業(yè)農(nóng)村(cūn)大(dà)數(shù)據的(de)機(jī)制(zhì)和(hé)模式,帶動不(≈bù)同地(dì)區(qū)、不(bù)同領域大(dà)數(shù)據發展和(hé)應用(yòng)。縣域電(dià₹n)商大(dà)數(shù)據系統的(de)建設将繼續落實黨的(de)十九大(dà)關于實施鄉(xiāng)村(cūn)振興戰略的(<de)安排部署,通(tōng)過系統的(de)建設可(kě)以實現(xiàn)全屏框架動态展示縣域電(diàn)商銷售、村(c'ūn)站(zhàn)分(fēn)布、物(wù)流體(tǐ)系、扶貧增收、上(shàng)下(xià)行(xíng)交易數(shù)據等大(dà)數(shù)據,為(wè™i)電(diàn)商鄉(xiāng)村(cūn)振興提供及時(shí)最新的(de)數(shù)據報(bào)表和(hé)分(fēn)析,可(kě)以根據數(shù)據情況及 時(shí)調整管理(lǐ)決策,提升管理(lǐ)效率。
縣域電(diàn)商大(dà)數(shù)據平台的(de)建設落實黨的(de)十九大(dà)關于實施鄉(xiāng)村(cūn)振興戰略的(de)安排部署,通(tōng)過平台的(d≠e)建設可(kě)以實現(xiàn)全屏框架動态展示縣域電(diàn)商銷售、村(cūn)站(zhàn)分(fēn)布、物(wù)流體(tǐ)系、扶貧增收、上(shàng)下(xià)行(xín&g)交易數(shù)據等大(dà)數(shù)據,為(wèi)縣域電(diàn)商鄉(xiāng)村(cūn)振興提供及時(shí)最新的(de)數(shù)據報(bà©o)表和(hé)分(fēn)析,可(kě)以根據數(shù)據情況及時(shí)調整管理(lǐ)決策,提升管理(lǐ)效率。
2項目定位及主要(yào)功能(néng)
2.1項目總覽
實施鄉(xiāng)村(cūn)振興戰略,是(shì)黨的(de)十九大(dà)作(zuò)出的(de)重大(dà)決策部署,是(shì)決勝全面建成小(xiǎo)$康社會(huì)、全面建設社會(huì)主義現(xiàn)代化(huà)強國(guó)的(de)重大(dà)曆史任務,是(shì)新時(shí)代“三農(nóng)”工(gō★ng)作(zuò)的(de)總抓手。電(diàn)子(zǐ)商務進農(nóng)村(cūn)綜合示範縣”是(shì)财≠政部、商務部、國(guó)務院扶貧辦落實《中共中央、國(guó)務院關于打赢脫貧攻堅戰三年(nián)行(xíng)動指導意見(jiàn)》有(yǒu)≥關部署,聚焦脫貧攻堅,進一(yī)步完善工(gōng)作(zuò)體(tǐ)制(zhì)機(jī)制(zhì),推>動地(dì)方因地(dì)制(zhì)宜,探索電(diàn)商精準扶貧的(de)有(yǒu)效措施。通(tōng)過電(diàn)子(zǐ)商務進農(®nóng)村(cūn)項目,實現(xiàn)産業(yè)振興,人(rén)才培育,增加村(cūn)集體(tǐ)收入和(hé)增加農(nóng)民(mín)收入。
電(diàn)商大(dà)數(shù)據管理(lǐ)系統是(shì)一(yī)個(gè)利用(yòng)雲計(jì)算(suàn)技(jì)術(shù),以數λ(shù)據倉庫技(jì)術(shù)為(wèi)依托,通(tōng)過采集、彙集本區(qū)域電(diàn)±商各行(xíng)業(yè)業(yè)務大(dà)數(shù)據以及扶貧數(shù)據,并集中于總數(shù)據中心,建立海(hǎi)量數←(shù)據交換系統,利用(yòng)數(shù)據門(mén)戶、多(duō)維分(fēn)析、數(shù)據挖掘等技(jì)術(shù)構建智慧數(shù)據系統,為(wèi)政府提供及☆時(shí)、準确、科(kē)學的(de)決策依據,降低(dī)管理(lǐ)成本,助力客戶構建智慧政府。₩電(diàn)商大(dà)數(shù)據管理(lǐ)系統是(shì)基于分(fēn)布式存儲技(jì)術(shù)(Hadoop),分(fēn)布式計(jì)算→(suàn)技(jì)術(shù)(MapReduce),大(dà)數(shù)據技(jì)術(shù)(Big Data),數(shù)據倉庫技(j•ì)術(shù)(Data Warehousing)、以及NoSQL技(jì)術(shù)(HBase)等先進的(de)雲 計(jì)算(suàn)技(jì)術(shù)研發而成的(de)智慧大(dà)數(shù)據系統。
2.2系統作(zuò)用(yòng)
1. 整合電(diàn)商及扶貧數(shù)據
來(lái)源于各大(dà)電(diàn)商系統的(de)電(diàn)商交易數(shù)據、各部門(mén)扶貧↔數(shù)據,各數(shù)據不(bù)流通(tōng),形成信息孤島,電(diàn)商大(dà)數(shù)據管理(lǐ)系統建立統一(yī)數(shù)據倉庫,整合信息資源數(s✔hù)據,給政府提供統一(yī)視(shì)圖報(bào)表,統一(yī)決策界面。
2. 支撐決策
從(cóng)數(shù)據中分(fēn)析經濟、社會(huì)等發展趨勢,挖掘新的(de)發展機(jī)會(huì),根據數(shù)據決策,提高(gāo)決策的(de)及時(shπí)性及準确率。
3. 降低(dī)政府管理(lǐ)成本,提高(gāo)效益
基于系統分(fēn)析內(nèi)容,政府能(néng)了(le)解地(dì)區(qū)電(diàn)商實施指數(shù)、精準扶貧度、城(chéng)市(shì)影(yǐng)響力等,通(tōnαg)過優化(huà)政府資源及管理(lǐ)流程,從(cóng)而降低(dī)管理(lǐ)成本,提高(gāo)經濟和(hé)社會(huì)效益,增強政府發展能(néng)力÷。
2.3項目目标
農(nóng)業(yè)大(dà)數(shù)據是(shì)大(dà)數(shù)據理(lǐ)念、技(jì)術(s✘hù)和(hé)方法在農(nóng)業(yè)領域的(de)實踐,結合實際情況,建設統一(yī)的(de)電(diàn)子(αzǐ)商務大(dà)數(shù)據系統,健全全縣電(diàn)子(zǐ)商務綜合服務支撐體(tǐ)系,打造集¥數(shù)據采集、數(shù)據處理(lǐ)、監測管理(lǐ)、預測預警、可(kě)視(shì)化(huà)系統于一(yī)體(←tǐ)的(de)電(diàn)商大(dà)數(shù)據系統,以信息化(huà)提升數(shù)據化(huà)管理(lǐ)與服務能(néng)力,及時(shí)準确掌握電(diàn)商發展情§況,把握電(diàn)商發展趨勢、預見(jiàn)電(diàn)商發展潛在問(wèn)題、輔助電(diàn)商經濟決策提供基礎支↕撐,促進電(diàn)子(zǐ)商務工(gōng)作(zuò)持續健康發展。同時(shí)農(nóng)業(yè)大(dà)數(shù)據将為(wèi)農(nóng)産品上(shàng)行(xíng)服務,為(wèi)農(nóng)産品電(diàn)商的(dγe)大(dà)數(shù)據推廣、市(shì)場(chǎng)定位分(fēn)析、品牌營銷策略等提供數(shù)據基礎,從(cóng)而助力農(nóng)業(yè)電(×diàn)商發展和(hé)幫助農(nóng)民(mín)增産增收。
3系統架構
以PC端+無線端(微(wēi)信)為(wèi)當前的(de)主要(yào)應用(yòng)入口,采用(yòng)多(duō)租戶系統應用(yòng)服務模式研發,建設具備☆文(wén)件(jiàn)系統(JSON、XML、CSV)、數(shù)據庫(Oracle、MS-SQL Server、MySQL、PostgreS<QL、SQLite)、NoSQL(Redis、MongoDB、Memcached)的(de)異種源規範數(shù)據遷入接口,為(wèi)用(yòng)戶π提供直觀、豐富的(de)數(shù)據界面。

建立大(dà)數(shù)據倉庫,大(dà)數(shù)據倉庫按主題域存儲信息數(shù)據。數(shù)據來(lái)源主要(yào)是(shì)電(diàn)商系統、政"府信息數(shù)據系統以及互聯網,比如(rú)電(diàn)商、城(chéng)市(shì)自(zì)媒體(tǐ)、政府各部門(mén)信息數(shù)據、互聯網各行(✘xíng)業(yè)信息網站(zhàn)等。通(tōng)過工(gōng)具定期抽取采集各種數(shù)據、清洗數∏(shù)據,并加載入數(shù)據倉庫中。
架構于數(shù)據倉庫上(shàng)的(de)系統功能(néng)主要(yào)包括數(shù)據門(€mén)戶、專題主題分(fēn)析、即系查詢、多(duō)維分(fēn)析、自(zì)助報(bào)表等功能(nén↔g)模塊,通(tōng)過這(zhè)些(xiē)功能(néng)模塊為(wèi)政府獲取數(shù)據和(hé)分(fēn)析數(shù)據提供簡單易用(yòng)、功能(néng)強大(dàσ)的(de)方法,為(wèi)管理(lǐ)者決策及智慧城(chéng)市(shì)做(zuò)運營支撐。
3.1數(shù)據倉庫架構
數(shù)據倉庫對(duì)數(shù)據存儲進行(xíng)了(le)分(fēn)層。分(fēn)層架構分(fēn)為(wèi): SRC層、ODS層、數(shù)據集市(shì)層(DM)≠,形成了(le)智慧數(shù)據系統分(fēn)層數(shù)據架構。
1.SRC層
SRC層存放(fàng)原始數(shù)據,系統從(cóng)其他(tā)信息數(shù)據系統或互聯網抽取采集的(de)數(shù)據在經過清洗和(hé)預處理(lǐ)後首先放(fàng)入SRC層。
2.ODS層
ODS層是(shì)一(yī)個(gè)面向數(shù)據主題的(de)、集成的(de)、可(kě)變的(de)、當前的(de)細節數(shù)據集合層,用(yòng)于支持對(duì)于即時(shí)性的(de)、操作(zuò)性的(de)、集成的β(de)全體(tǐ)信息的(de)需求。常常被作(zuò)為(wèi)數(shù)據倉庫的(de)數(shù)據處 理(lǐ)的(de)過渡,以降低(dī)直接進行(xíng)數(shù)據處理(lǐ)的(de)複雜(zá)度。
3.數(shù)據集市(shì)(DM)
數(shù)據集市(shì)作(zuò)為(wèi)智慧數(shù)據系統的(de)組成部分(fēn),從(cóng)大(dà)數(shù)據倉庫中ODS層、抽取相(xiàng)關數(shù)據并進行(xíng)轉換和(hé)裝載,并根據應用(yòng)需求形成的(de)數(shù)據集合,支撐各個(gè)政府∞部門(mén)進行(xíng)建設專業(yè)化(huà)應用(yòng)。
3.2系統功能(néng)架構
主要(yào)功能(néng)模塊
多(duō)維分(fēn)析:幫助用(yòng)戶進行(xíng)多(duō)角度、立體(tǐ)化(huà)、靈活®動态的(de)分(fēn)析信息數(shù)據。産品簡單易用(yòng),無需編寫任何的(de)代碼 ,用(yòng)戶隻需要(yào)通(tōng)過語義層的(de)定義就(jiù)可(kě)以輕松搭建自(zì)己的(de)多(duō)維數(shù)據模型。
即席查詢:信息大(dà)數(shù)據倉庫內(nèi)的(de)各主題數(shù)據、統計(jì)報(bào)表、指标的(de)快(kuài)速檢索,幫助業(<yè)務分(fēn)析人(rén)員(yuán)快(kuài)速獲得(de)所需要(yào)的(de)數(shù)據和(hé)統計(jì)信息。
數(shù)據門(mén)戶:對(duì)大(dà)數(shù)據倉庫整合的(de)業(yè)務數(shù)據進Ω行(xíng)統一(yī)展現(xiàn),展現(xiàn)方式包括儀表盤、表格、日(rì)曆等內(nèi)容,并支持用(yòng)戶個(gè)性化♥(huà)定制(zhì)內(nèi)容、指标等功能(néng),實現(xiàn)真正的(de)個(g☆è)性化(huà)服務。數(shù)據門(mén)戶中展現(xiàn)的(de)內(nèi)容是(shì)政府最關注的(de)指标,通(tōng)過門(mén)戶為(wèi)他(tā)們獲取數(shù)據提供最簡單容易的(de)方式。
主題分(fēn)析:從(cóng)主題域的(de)角度入手,支撐數(shù)據資源的(de)組織,支持數(shù)據的(de)深入挖掘和(hé)分(fēn)析應用(yòng),跟蹤、監控互聯φ網+的(de)執行(xíng)情況及實施效果,揭示互聯網+實施過程存在的(de)問(wèn)題及原因,讓政府了(le)解互聯網+,通(tōng)過數(shù)據發現(x↑iàn)實施過程中的(de)問(wèn)題及不(bù)足、為(wèi)優化(huà)政府産業(yè)規劃提供依據。
分(fēn)析報(bào)告:報(bào)表工(gōng)具作(zuò)為(wèi)智慧數(shù)據系統建設的(de)重要(yào)組成部分(fēn),主要(yào)對(duì)大(™dà)數(shù)據倉庫中整合的(de)各主題域業(yè)務數(shù)據,按照(zhào)互聯網+管理(lǐ)要(yào)求,面向政府,快(kuài)速提供準确、全面、靈活的(de)♠體(tǐ)現(xiàn)互聯網+實施實際的(de)數(shù)據信息,為(wèi)當地(dì)政府發展決策支持、政府管理(lǐ)提供有(yǒu)效的(de)數(shù)據信息支撐。
采集工(gōng)具:信息采集工(gōng)具是(shì)數(shù)據倉庫最核心的(de)後台組件(jiàn),通(tōng)過對(duì)業(yè↔)務的(de)數(shù)據的(de)抽取、采集、清洗、加載及彙總,實現(xiàn)數(shù)據倉庫中數(shù)據的(de)更新及流轉。采集工(gōng)具,實現(xiàn)了(σle)模塊化(huà)處理(lǐ),每種數(shù)據可(kě)獨立定義,通(tōng)過圖形化(huà)及自(zì)動化(huà)的(de)方式來(lái)配置,極大(δdà)的(de)減輕了(le)數(shù)據加工(gōng)的(de)工(gōng)作(zuò)量,提高(gāo)了(le)♣數(shù)據準确性及處理(lǐ)效率。
3.3系統主要(yào)特點
(1).整體(tǐ)軟件(jiàn)系統基于雲計(jì)算(suàn)架構規劃與設計(jì),充分(f✘ēn)利用(yòng)雲計(jì)算(suàn)所能(néng)提供的(de)高(gāo)可(kě)靠性和(hé)伸縮性,并有(yǒu)效整合CDN,雲存儲等雲計(♥jì)算(suàn)服務,有(yǒu)效降低(dī)整體(tǐ)基礎設施投入;
(2).系統整體(tǐ)軟件(jiàn)架構采用(yòng)SOA思想規劃與設計(jì),使得(de)系統在基礎架構層面對(duì)各種應✔用(yòng)提供良好(hǎo)的(de)擴展性與可(kě)靠性;
(3).系統數(shù)據庫選型方面采用(yòng)面向大(dà)規模互聯網型應用(yòng)的(de)數(shù)據庫類型₩,整合Orcale,MySQL,MongoDB,HBase等數(shù)據庫應用(yòng),滿足系統數(shù)據一(yī)緻γ性,可(kě)用(yòng)性以及存儲量等多(duō)方面需求;
(4).高(gāo)可(kě)擴展性的(de)Hadoop存儲體(tǐ)系:采用(yòng)了(le)Hadoop技(jì)術(shù)體(tǐ)系作(zuò)為(wèi)大(dà)數(s↓hù)據交換的(de)存儲和(hé)計(jì)算(suàn)框架,利用(yòng)Hadoop的(de)HDFS文(wén)件(jiàn)系統,MapReduce的(de≤)計(jì)算(suàn)系統,HBase的(de)數(shù)據庫系統實現(xiàn)了(le)對(duì)海(hǎi)量數(shù)據的(de)支持,使數(≤shù)據交換能(néng)力的(de)提高(gāo)通(tōng)過标準硬件(jiàn)的(de)橫向擴展即可(kě)實現✘(xiàn)。
(5).基于HBase和(hé)RabbitMQ集群系統構建的(de)雲消息系統,為(wèi)面向大(↑dà)數(shù)據的(de)交換,處理(lǐ),服務,以及事(shì)件(jiàn)驅動的(de)軟件(jiàn)體(tǐ)系提供了(le)堅實的(σde)基礎;
(6).實時(shí)的(de)管理(lǐ)與監控:為(wèi)用(yòng)戶提供系統全方面的(dλe)實時(shí)的(de)管理(lǐ)與監控,從(cóng)系統服務,到(dào)交換數(shù)據,從(cóng)業(δyè)務域,到(dào)前置或橋接,使用(yòng)戶可(kě)以實時(shí)了(le)解系統的(de)各種狀态,數(shù)據交換進程,數(shù)據處理(lǐ)的(de)情況等各種信息。同£時(shí),管理(lǐ)監控系統為(wèi)客戶提供系統的(de)各種統計(jì)報(bào)表,方便用(yòng)戶了(le)解系統的(de)運行(xíng)情況。
4系統總體(tǐ)方案設計(jì)思想
4.1設計(jì)理(lǐ)念
4.1.1空(kōng)間(jiān)換時(shí)間(jiān)
1)采用(yòng)多(duō)級緩存,數(shù)據靜(jìng)态化(huà)
主要(yào)有(yǒu)以下(xià)方法:
客戶端頁面緩存:httpheader中包含Expires/CacheofControl;lastmodified(304,s♥erver不(bù)返回body,客戶端可(kě)以繼續用(yòng)cache,減少(shǎo)流量);ETag
反向代理(lǐ)緩存
應用(yòng)端緩存(memcache)
數(shù)據庫內(nèi)存運行(xíng)
采用(yòng)Buffer、cache機(jī)制(zhì)(用(yòng)于數(shù)據庫,中間(jiān)件(jiàn)等)
2)索引
用(yòng)到(dào)的(de)索引方式有(yǒu):
哈希、B樹(shù)、倒排、bitmap
哈希索引适合綜合數(shù)組的(de)尋址和(hé)鏈表的(de)插入特性,可(kě)以實現(xi àn)數(shù)據的(de)快(kuài)速存取。
B樹(shù)索引适合于查詢為(wèi)主導的(de)場(chǎng)景,避免多(duō)次的(de)IO,提高(gāo)查詢的(de)效率。
倒排索引實現(xiàn)單詞到(dào)文(wén)檔映射關系的(de)最佳實現(xiàn)方式和(hé)最有(yǒu)效的(de)索引結構,廣泛用(yòng)在搜索領域。
Bitmap是(shì)一(yī)種非常簡潔快(kuài)速的(de)數(shù)據結構,他(tā)能(néng)同時(shí)使存儲空(kōng)間(jiā↔n)和(hé)速度最優化(huà)(而不(bù)必空(kōng)間(jiān)換時(shí)間(jiān)),适合于海(hǎi)量數(shù)據的(de)的(de)計(jì)算(suàn&)場(chǎng)景。
4.1.2并行(xíng)與分(fēn)布式計(jì)算(suàn)
1)任務切分(fēn)、分(fēn)而治之(MR)
在大(dà)規模的(de)數(shù)據中,數(shù)據存在一(yī)定的(de)局部性的(de)特征,利用(yòng)局部性的(de)原理(lǐ)将海(hǎi)量數(shù)據計(✔jì)算(suàn)的(de)問(wèn)題分(fēn)而治之。
MR模型是(shì)無共享的(de)架構,數(shù)據集分(fēn)布至各個(gè)節點。處理(lǐ)時(shí),每個(gè)節點就(jiù)近(jìn)讀(€dú)取本地(dì)存儲的(de)數(shù)據處理(lǐ)(map),将處理(lǐ)後的(de)數(shù)據進行(xíng)合并(c•ombine)、排序(shuffleandsort)後再分(fēn)發(至reduce節點),避免了(le)大(dà)量數(shù)據的(de)傳輸,提高(gāo)了(le)處理(↑lǐ)效率。
2)多(duō)進程、多(duō)線程并行(xíng)執行(xíng)(MPP)
并行(xíng)計(jì)算(suàn)(ParallelComputing)是(shì)指同時(shí)使用(yòng)多(duō)種計(jì)算(suàn)資源解決計(jì)算(suàn)問(wèn)題的(de)過程,是(shì)提高(gāo)計(jì)算(suàn)機(jī)系統計(jì)算(±suàn)速度和(hé)處理(lǐ)能(néng)力的(de)一(yī)種有(yǒu)效手段。它的(de)基本思想是(shì)用(yòng)多(duō)個(gè)處理(lǐ)器≠(qì)/進程/線程來(lái)協同求解同一(yī)問(wèn)題,即将被求解的(de)問(wèn)題分(fēn)解成若幹個(gè)部分(fēn),各部分(fēn)均由一(yī)個(gè)獨立的(dβe)處理(lǐ)機(jī)來(lái)并行(xíng)計(jì)算(suàn)。和(hé)MR的(de)區(qū)¥别在于,它是(shì)基于問(wèn)題分(fēn)解的(de),而不(bù)是(shì)基于數(shù)據分(fēn)解。
4.1.3多(duō)維度的(de)可(kě)用(yòng)
1)負載均衡、容災、備份
随著(zhe)系統并發量的(de)增大(dà),需要(yào)擴容節點進行(xíng)集群,利用(yòng)負≈載均衡設備進行(xíng)請(qǐng)求的(de)分(fēn)發;負載均衡設備通(tōng)常在提供負載均衡的(de)同時(shí),也(yě)提供失效檢 測功能(néng);同時(shí)為(wèi)了(le)提高(gāo)可(kě)用(yòng)性,需要(yào)有(yǒu)容災備份,以防§止節點宕機(jī)失效帶來(lái)的(de)不(bù)可(kě)用(yòng)問(wèn)題;備份有(yǒu)在線 的(de)和(hé)離(lí)線備份,可(kě)以根據失效性要(yào)求的(de)不(bù)同,進行(xíng)選擇不(bù)同的(de)備份策略。
2)讀(dú)寫分(fēn)離(lí)
讀(dú)寫分(fēn)離(lí)是(shì)對(duì)數(shù)據庫來(lái)講的(de),随著(zhe∏)系統并發量的(de)增大(dà),提高(gāo)數(shù)據訪問(wèn)可(kě)用(yòng)性的(de)一(yī)個(gè)重要(yào)手段就(★jiù)是(shì)寫數(shù)據和(hé)讀(dú)數(shù)據進行(xíng)分(fēn)離(lí);當然在讀(dú)寫分₽(fēn)離(lí)的(de)同時(shí),需要(yào)關注數(shù)據的(de)一(yī)緻性問(wèn)題;對(duì)于一(yī)緻性的(™de)問(wèn)題,在分(fēn)布式的(de)系統CAP定量中,更多(duō)的(de)關注于可(kě)用(yòng)性。
3)依賴關系
系統中各個(gè)模塊之間(jiān)的(de)關系盡量是(shì)低(dī)耦合的(de),可(kě)以通(tōng)過相(xiàng)關的(✘de)消息組件(jiàn)進行(xíng)交互,能(néng)異步則異步,分(fēn)清楚數(shù)據流轉的(de)≤主流程和(hé)副流程,主副是(shì)異步的(de),比如(rú)記錄日(rì)志(zhì)可(kě)以是(sh★ì)異步操作(zuò)的(de),增加整個(gè)系統的(de)可(kě)用(yòng)性。
當然在異步處理(lǐ)中,為(wèi)了(le)确保數(shù)據得(de)到(dào)接收或者處理(γlǐ),往往需要(yào)确認機(jī)制(zhì)(confirm、ack)。
但(dàn)是(shì)有(yǒu)些(xiē)場(chǎng)景中,雖然請(qǐng)求已經得(de)到(dào)處理(lǐ),但(dàn)是(shì)因其他(tā)原因♦(比如(rú)網絡不(bù)穩定),确認消息沒有(yǒu)返回,那(nà)麽這(zhè)種情況下(xià)需要>(yào)進行(xíng)請(qǐng)求的(de)重發,對(duì)請(qǐng)求的(de)處理(lǐ)設計(jì)因重發因素需要(yào)考慮幂等σ性。
4)監控
監控也(yě)是(shì)提高(gāo)整個(gè)系統可(kě)用(yòng)性的(de)一(yī)個(gè)重要(yào)手段,多(duō≈)系統進行(xíng)多(duō)個(gè)維度的(de)監控;模塊在運行(xíng)時(shí)候是(shì)透明(míng)的(d∞e),以達到(dào)運行(xíng)期白(bái)盒化(huà)。
4.1.4伸縮
1)拆分(fēn)
拆分(fēn)包括對(duì)業(yè)務的(de)拆分(fēn)和(hé)對(duì)數(shù)據庫的(de)拆分(fēn)。
系統的(de)資源總是(shì)有(yǒu)限的(de),一(yī)段比較長(cháng)的(de)業(yè)務執行(∑xíng)如(rú)果是(shì)一(yī)竿子(zǐ)執行(xíng)的(de)方式,在大(dà)量并發的(de)操作(zuò)下(xià),這(zhè)種阻塞的($de)方式,無法有(yǒu)效的(de)及時(shí)釋放(fàng)資源給其他(tā)進程執行(xíng),這(zhè)樣系統的(de)吞吐量不(bù)高(gā o)。
需要(yào)把業(yè)務進行(xíng)邏輯的(de)分(fēn)段,采用(yòng)異步非阻塞的(de)方式,提高(gāo≥)系統的(de)吞吐量。
随著(zhe)數(shù)據量和(hé)并發量的(de)增加,讀(dú)寫分(fēn)離(lí)不(bù)能(néng)滿足系統并>發性能(néng)的(de)要(yào)求,需要(yào)對(duì)數(shù)據進行(xíng)切分(≠fēn),包括對(duì)數(shù)據進行(xíng)分(fēn)庫和(hé)分(fēn)表。這(zhè)種分(fēn)庫分(fēn)表的(de)方式,需要(yào)增加對§(duì)數(shù)據的(de)路(lù)由邏輯支持。
2)無狀态
對(duì)于系統的(de)伸縮性而言,模塊最好(hǎo)是(shì)無狀态的(de),通(tōng)過增加節點就(jiù)可(kě)以提高(g™āo)整個(gè)的(de)吞吐量。
4.1.5優化(huà)資源利用(yòng)
1)系統容量有(yǒu)限
系統的(de)容量是(shì)有(yǒu)限的(de),承受的(de)并發量也(yě)是(shì)有(yǒu)限的(de),在架構設計(jì)時(s∏hí),一(yī)定需要(yào)考慮流量的(de)控制(zhì),防止因意外(wài)攻擊或者瞬時(shí)并發量的(de)沖擊導緻系統崩潰。在設計(jαì)時(shí)增加流控的(de)措施,可(kě)考慮對(duì)請(qǐng)求進行(xíng)排隊™,超出預期的(de)範圍,可(kě)以進行(xíng)告警或者丢棄。
2)原子(zǐ)操作(zuò)與并發控制(zhì)
對(duì)于共享資源的(de)訪問(wèn),為(wèi)了(le)防止沖突,需要(yào)進行(xíng₹)并發的(de)控制(zhì),同時(shí)有(yǒu)些(xiē)交易需要(yào)有(yǒu)事(shì)務性來(lái)保β證交易的(de)一(yī)緻性,所以在交易系統的(de)設計(jì)時(shí),需考慮原子(zǐ)操作(zuò)和(hé)并發控制(zhì)。
保證并發控制(zhì)一(yī)些(xiē)常用(yòng)高(gāo)性能(néng)手段有(yǒu),樂(yuè)觀鎖、Latch±、mutex、寫時(shí)複制(zhì)、CAS等;多(duō)版本的(de)并發控制(zhì)MVCC通(tōn≈g)常是(shì)保證一(yī)緻性的(de)重要(yào)手段,這(zhè)個(gè)在數(shù)據庫的(de)設計(jì)中經常會(huì)用(yòng)到(dπào)。
3)基于邏輯的(de)不(bù)同,采取不(bù)一(yī)樣的(de)策略
系統中業(yè)務邏輯存在不(bù)同的(de)類型,有(yǒu)計(jì)算(suàn)複雜(zá)型的(de),有(yǒu)消耗IO型的(de),ε同時(shí)就(jiù)同一(yī)種類型而言,不(bù)同的(de)業(yè)務邏輯消耗的(de)資源數(shù)量也(yě)是(shì)不(bù)一(yī)樣的(de),這(zhè)♠就(jiù)需要(yào)針對(duì)不(bù)同的(de)邏輯采取不(bù)同的(de)策略。
針對(duì)IO型的(de),可(kě)以采取基于事(shì)件(jiàn)驅動的(de)異步非阻塞的(de)方式,單>線程方式可(kě)以減少(shǎo)線程的(de)切換引起的(de)開(kāi)銷,或者在多(duō)線程的(de)情況下(xià)采取自(zì)旋spin的(de)方式,↓減少(shǎo)對(duì)線程的(de)切換(比如(rú)oraclelatch設計(jì));對₹(duì)于計(jì)算(suàn)型的(de),充分(fēn)利用(yòng)多(duō)線程進行(xíng)操作(zuò)。
同一(yī)類型的(de)調用(yòng)方式,不(bù)同的(de)業(yè)務進行(xíng)合适的(de)資源分•(fēn)配,設置不(bù)同的(de)計(jì)算(suàn)節點數(shù)量或者線程數(shù)量,對(duì)業(yè)務進行(xíng)分(fēn)流,優先執行('xíng)優先級别高(gāo)的(de)業(yè)務。
4)容錯(cuò)隔離(lí)
系統的(de)有(yǒu)些(xiē)業(yè)務模塊在出現(xiàn)錯(cuò)誤時(shí),為(wèi)了(↑le)減少(shǎo)并發下(xià)對(duì)正常請(qǐng)求的(de)處理(lǐ)的(de)影(yǐng )響,有(yǒu)時(shí)候需要(yào)考慮對(duì)這(zhè)些(xiē)異常狀态的(de)請(qǐng)求進行(xíng)單獨渠道(dào)的(de)δ處理(lǐ),甚至暫時(shí)自(zì)動禁止這(zhè)些(xiē)異常的(de)業(yè)務模塊。
有(yǒu)些(xiē)請(qǐng)求的(de)失敗可(kě)能(néng)是(shì)偶然的(de)暫時(shí)的(de)失敗(比如(rú)網絡不(bù)穩定),需要(yào)進行(xínλg)請(qǐng)求重試的(de)考慮。
5)資源釋放(fàng)
系統的(de)資源是(shì)有(yǒu)限的(de),在使用(yòng)資源時(shí),一(yī)定要(yào)在最後釋放(fàng)資源,無論是(shì)請(qǐng)求走的(de)是(s÷hì)正常路(lù)徑還(hái)是(shì)異常的(de)路(lù)徑,以便于資源的(de)及時(shí)回收,供其他(tā)請(qǐng)求使用(yòng)。
在設計(jì)通(tōng)信的(de)架構時(shí),往往需要(yào)考慮超時(shí)的(d'e)控制(zhì)。
4.2設計(jì)依據
本技(jì)術(shù)方案的(de)設計(jì)依據為(wèi):
中華人(rén)民(mín)共和(hé)國(guó)國(guó)家(jiā)發展和(hé)改革委員(yuán)會(huì)令第9号《産業(yè)結構調整指導目錄(2011年(nián)本)(修正)》;
《國(guó)家(jiā)“十二五”現(xiàn)代服務業(yè)發展規劃》;
《國(guó)家(jiā)“十二五”科(kē)學和(hé)技(jì)術(shù)發展規劃》;
《國(guó)家(jiā)中長(cháng)期科(kē)學和(hé)技(jì)術(shù)發展規劃綱要(yào)(2006~2020年(nián£))》;
《國(guó)家(jiā)發改委辦公廳關于組織申報(bào)2013年(nián)國(guó)家(ji→ā)服務業(yè)引導資金(jīn)扶持項目的(de)通(tōng)知(zhī)》(發改辦産業(yè)[2012]2α765号);
《國(guó)家(jiā)信息化(huà)領導小(xiǎo)組關于我國(guó)電(diàn)子(zǐ)政務建設指導意見(jiàn)》(中辦發[2002]17号)
《中華人(rén)民(mín)共和(hé)國(guó)國(guó)民(mín)經濟和(hé)經濟發展第十個(gè)五年(nián)計(j↓ì)劃綱要(yào)》
《國(guó)家(jiā)計(jì)委關于印發國(guó)民(mín)經濟和(hé)社會(huì)發展第十個(gè)五年(nián)計(jì)劃信息化(huà)重點專項規劃的(de)通(tōng)知(zhī)》計(jì)規劃™[2002]1172号
《國(guó)民(mín)經濟和(hé)社會(huì)信息化(huà)重點專項規劃》
《國(guó)家(jiā)電(diàn)子(zǐ)政務标準(討(tǎo)論稿)》
《中華人(rén)民(mín)共和(hé)國(guó)招标投标法》
《政府國(guó)有(yǒu)産權轉讓管理(lǐ)暫行(xíng)辦法》
《政府國(guó)有(yǒu)資産監督管理(lǐ)暫行(xíng)條例政府國(guó)有(yǒu)資産産權登記管理(lǐ)辦法》
《外(wài)國(guó)投資者并購(gòu)境內(nèi)政府暫行(xíng)規定》
《産權交易競價轉讓辦法》
《産權交易網絡競價實施細則》
《中華人(rén)民(mín)共和(hé)國(guó)農(nóng)産品質量安全法》
國(guó)家(jiā)農(nóng)業(yè)部農(nóng)計(jì)發[2006]35号《關于印發<全國(g★uó)農(nóng)産品質量安全檢驗檢測體(tǐ)系建設規劃>的(de)通(tōng)知(zhī)》;
《投資項目可(kě)行(xíng)性研究指南(nán)(試用(yòng)版)》(國(guó)家(jiā)計(jì)委計(jì)辦投資[2002]15号);
農(nóng)業(yè)部和(hé)國(guó)家(jiā)發展改革委《關于做(zuò)好(hǎo)2009年(nián)農(nóng)産品質量安全檢驗檢測體(tǐ)系建設項目申報(bào)工(gō ng)作(zuò)的(de)通(tōng)知(zhī)》;
《中華人(rén)民(mín)共和(hé)國(guó)無公害食品行(xíng)業(yè)标準》;
《農(nóng)業(yè)部綠(lǜ)色食品管理(lǐ)辦法》;
農(nóng)業(yè)部農(nóng)市(shì)發[2005]11号《關于發展無公害農(nóng)産品、綠(lǜ)色食品和(φhé)有(yǒu)機(jī)農(nóng)産品的(de)意見(jiàn)》;
《全國(guó)農(nóng)業(yè)和(hé)農(nóng)村(cūn)經濟發展第十一(yī)個(gè)五年(nián)規劃(2→006—2010年(nián))》;
國(guó)家(jiā)和(hé)本省有(yǒu)關政策、法規和(hé)規範;
建設單位提供的(de)有(yǒu)關設想及基礎資料。
4.3總體(tǐ)技(jì)術(shù)路(lù)線
4.3.1采用(yòng)Linux+Apache+PHP+MySQL技(jì)術(shù)架構
系統基LAPM體(tǐ)系架構進行(xíng)開(kāi)發,完全采用(yòng)B/S模式,用(yòng)戶在☆客戶端隻需要(yào)使用(yòng)常用(yòng)的(de)浏覽器(qì)即可(kě),不(bù)需要(yào)安裝任何其他(tā)軟件(jiàn)。采用(yòng↕)LAPM标準架構的(de)意義在于:
1)提供一(yī)緻的(de)面向對(duì)象的(de)編程環境,而無論對(duì)象代碼是(shì)在本地(dì)存儲和(hé)執行(xíng),還(h≈ái)是(shì)在本地(dì)執行(xíng)但(dàn)在Internet上(shàng)分(fēn)布,或者是(shì)在遠(yuǎn)程執行(x✘íng)的(de)。
2)提供将軟件(jiàn)部署和(hé)版本控制(zhì)沖突最小(xiǎo)化(huà)的(de)代碼執行(xíng)環境。
3)提供可(kě)提高(gāo)代碼(包括由未知(zhī)的(de)或不(bù)完全受信任的(de)第三方創建的(de)代碼)執行(xíng)安全性的(de)代碼執行(xíng)環 境。
4)提供可(kě)消除腳本環境或解釋環境的(de)性能(néng)問(wèn)題的(de)代碼執行(xíng)環境。
4.3.2面向服務的(de)架構設計(jì)
面向服務架構(Service-OrientedArchitecture,SOA)作(zuò)為(wèi)新一(yī)代的(de)軟件(jiàn)架構,正以其協同高(gāo)效、複↓用(yòng)擴展、異步及松耦合等優點逐步取代傳統的(de)軟件(jiàn)架構,成為(wèi)分(fēn)布式計(jì₹)算(suàn)應用(yòng)發展的(de)趨勢和(hé)熱(rè)點,适于構築互聯網環境下(xià)大(dà)規模、分(fēn)布式、動态©性的(de)多(duō)類複雜(zá)應用(yòng)。因此,本方案充分(fēn)融入該思想,提出了(le)面向服務的(de)多(≈duō)層門(mén)戶架構模式。
該模式采用(yòng)基于Web服務的(de)多(duō)層體(tǐ)系結構,分(fēn)為(wèi)用(yòng)戶層、訪問(×wèn)接入層、應用(yòng)服務層、應用(yòng)支撐層和(hé)資源層。其核心思想是(shì)将主要(yào)的(de)業(yè)務服務λ邏輯與資源數(shù)據相(xiàng)互獨立,以業(yè)務服務組件(jiàn)和(hé)門(mén)戶組件(jiàn)的(de)方式進行(xíng)部署和♠(hé)交互。用(yòng)戶的(de)各種應用(yòng)請(qǐng)求,通(tōng)過門(mén)戶發送到(dào)應用(yòng)服務層,通(tōng)過實現(x×iàn)應用(yòng)服務接口,完成一(yī)般性服務的(de)處理(lǐ)功能(néng)。如(rú)果客戶端請(qǐng)求需要(yào)後台支撐服務的(de)支≤持或訪問(wèn)其它資源,應用(yòng)服務層将調用(yòng)應用(yòng)支撐層和(hé)資源層的(de)其≤他(tā)服務接口。
4.3.3統一(yī)的(de)數(shù)據資源管理(lǐ)
在數(shù)據資源管理(lǐ)方面,建設一(yī)個(gè)統一(yī)的(de)數(shù)據中心,按照(zhào≈)業(yè)務建設應用(yòng)鍵數(shù)據庫,通(tōng)過集中管理(lǐ)、業(yè)務分(fēn)類、相(xiàng)對(duì)獨立的(de)數(shù✔)據管理(lǐ)機(jī)制(zhì)實現(xiàn)數(shù)據的(de)統一(yī)管理(lǐ)、維護和(hé)服務,為(>wèi)業(yè)務系統和(hé)門(mén)戶網站(zhàn)的(de)應用(yòng)服務。
4.3.4成熟的(de)應用(yòng)系統建設方法
在應用(yòng)系統建設方面,要(yào)考慮到(dào)不(bù)同的(de)應用(yòng)需求,以及所涉及信息的(de)分(fφēn)布性和(hé)系統的(de)異構性來(lái)建立。應用(yòng)系統在設計(jì)階段在邏輯上(shàng)要(yào)完整,在實施階段要(yào)體(t←ǐ)現(xiàn)軟件(jiàn)工(gōng)程的(de)代碼和(hé)功能(néng)複用(yòng)原則。
在标準研制(zhì)和(hé)技(jì)術(shù)選擇上(shàng),優先采用(yòng)國(guó)家(jiā)或行(xíng)業(yè)已有(yǒu)标準,在标準缺位情β況下(xià),按照(zhào)急用(yòng)先行(xíng)的(de)原則,加快(kuài)急需标準的(de)研制(zhì)和(hé)應用(yòng);優先>采用(yòng)成熟技(jì)術(shù),強調技(jì)術(shù)的(de)實用(yòng)性、安全性、可(kě)靠性、先進性,從(cóng)标準和(hé) 技(jì)術(shù)上(shàng)保障系統的(de)可(kě)擴充性、易維護性、開(kāi)放(fàng)性和(hé)統一(yī)性。
4.3.5跨系統應用(yòng)設計(jì)
在跨系統應用(yòng)設計(jì)上(shàng)滿足如(rú)下(xià):
數(shù)據庫:支持SQLServer、Mysql、Mongodb、Hbase等數(shù)據庫,支持γODBC,JDBC連接
操作(zuò)系統:跨系統應用(yòng),支持Windows、Linux
中間(jiān)件(jiàn):在外(wài)部中間(jiān)件(jiàn)上(shàng),支持Weblogic,jboss,websphere等
數(shù)據訪問(wèn)中間(jiān)件(jiàn):對(duì)異構環境下(xià)的(de)數(shù)據庫或文(wén)件(≥jiàn)系統實現(xiàn)聯接。
消息中間(jiān)件(jiàn):實現(xiàn)在不(bù)同系統之間(jiān)通(tōng)信,實現(xiàn)分(fē÷n)布式系統中可(kě)靠的(de)、高(gāo)效的(de)、實時(shí)的(de)跨系統數(shù)據傳輸,實現(xiàn)應用(yòng)程序之間(εjiān)的(de)協同。
5大(dà)數(shù)據分(fēn)析流程
5.1數(shù)據采集與預處理(lǐ)
電(diàn)商數(shù)據來(lái)源
1、通(tōng)過爬蟲技(jì)術(shù)抓取。爬蟲技(jì)術(shù)是(shì)一(yī)種×按照(zhào)一(yī)定的(de)規則自(zì)動抓取萬維網信息的(de)程序或者腳本,可(kě)對(duì)主流電(diàn)商↔線上(shàng)平台電(diàn)商零售數(shù)據進行(xíng)抓取,解析頁面信息。通(tōng)過→網絡爬蟲技(jì)術(shù),全維度全時(shí)段不(bù)間(jiān)斷地(dì)抓取信息。
2、數(shù)據填報(bào)系統。為(wèi)縣域內(nèi)電(diàn)商企業(yè)開(kāi)通(tōng)填報(bào)後台,企業(yè)按照(zhào)規定時(shí)間(jiān)δ填寫企業(yè)數(shù)據。
3、與第三方平台對(duì)接接口。縣域內(nèi)企業(yè)有(yǒu)些(xiē)自(zì)建電(diàn)商平台,大(dà)數(shù)據平台提供自(zì)動填報('bào)的(de)接口,第三方平台自(zì)動傳送數(shù)據。
數(shù)據預處理(lǐ)
主要(yào)是(shì)對(duì)原始數(shù)據進行(xíng)的(de)清理(lǐ),以保證數(shù)據的(de)準确性¥和(hé)完整性。
異常數(shù)據清洗,重複數(shù)據清除,格式标準化(huà),數(shù)據歸一(yī)化(huà×)
5.2數(shù)據存儲
數(shù)據主要(yào)存儲模式是(shì)基于分(fēn)布式大(dà)數(shù)據平台的(de)結構化(huà)數(shù)據存儲。支持海(hǎi)量數(sh"ù)據的(de)計(jì)算(suàn)及大(dà)數(shù)據的(de)分(fēn)析。對(duì)各類數©(shù)據資源進行(xíng)邏輯組織,形成基礎數(shù)據資源庫及專題應用(yòng)資源庫,滿足電(diàn)商行(xíng)業(yè)數(s∞hù)據資源應用(yòng),管理(lǐ)與服務的(de)要(yào)求。
5.3數(shù)據分(fēn)析
針對(duì)于海(hǎi)量數(shù)據分(fēn)析采用(yòng)任務調度方式,定時(shí)定期進行(xíng)分(fēn)布式分(δfēn)析計(jì)算(suàn),以保證數(shù)據處理(lǐ)效率及能(néng)力。
數(shù)據行(xíng)業(yè)理(lǐ)解,數(shù)據抽樣,算(suàn)法選取,測試評估,結果導出。
數(shù)據分(fēn)析方法建立和(hé)參數(shù)調整等諸多(duō)專業(yè)的(de)數(shù)據分(fēn)析處理(lǐ),以結構化(huà)數(shù)據形式∑存儲,自(zì)動化(huà)加載并行(xíng)數(shù)據,後期進行(xíng)數(shù)據應用(yòng)規劃。
5.4數(shù)據可(kě)視(shì)化(huà)
利用(yòng)現(xiàn)有(yǒu)的(de)大(dà)屏展示技(jì)術(shù),将電(diàn)商數(shù)據可(kě)視(shì)化(huà>)。通(tōng)過後台服務器(qì)完成數(shù)據的(de)清洗,整理(lǐ),計(jì)算(suàn),運算(suàn)結果通(tōn←g)過傳導系統與顯示系統連接,顯示系統按照(zhào)數(shù)據需求邏輯和(hé)維度進行(xíng)圖表同步可(kě)視(shΩì)化(huà)輸出,使用(yòng)者可(kě)對(duì)周期內(nèi)的(de)數(shù)據↑進行(xíng)可(kě)視(shì)化(huà)查看(kàn)。
6大(dà)數(shù)據展示及填報(bào)子(zǐ)系統
實現(xiàn)縣域電(diàn)商數(shù)據運算(suàn)、分(fēn)析及作(zuò)圖功能(néng),并且支持多(duō)種可(kě)視(shì)化(huà§)展示等。包括但(dàn)不(bù)限于以下(xià)功能(néng):
對(duì)于運營中心、上(shàng)報(bào)部門(mén)/企業(yè)、和(hé)不(bù)同操作(♠zuò)人(rén)員(yuán)設置不(bù)同用(yòng)戶權限,能(néng)實現(xiàn)不(bù)同功能(néng)操作(zuòε);
支持錄入、采集、批量導入功能(néng);
展示數(shù)據根據數(shù)據屬性與要(yào)求,可(kě)動态更新與交互,更新頻(pín)率可(kě)自(zì)定義;
建立實時(shí)數(shù)據庫與曆史數(shù)據庫兩個(gè)存儲庫,依據需要(yào)可(kě)控制(zhì)顯示∑切換;
實現(xiàn)淘寶、天貓、京東(dōng)以及其它各電(diàn)商平台的(de)店(diàn)鋪電(d♠iàn)子(zǐ)地(dì)圖标注;
店(diàn)鋪注冊數(shù)據,可(kě)錄入所屬平台、店(diàn)鋪名稱、區(qū)域位置、産品、産品類型、售價等;
實現(xiàn)物(wù)流配送中心及分(fēn)布圖标注;
貧困戶數(shù)據:姓名、增收數(shù)據、月(yuè)度增收
店(diàn)鋪、物(wù)流分(fēn)布實時(shí)動态圖
貧困戶按所有(yǒu)月(yuè)份總增收統計(jì)分(fēn)析
熱(rè)門(mén)商品排行(xíng)展示(總排行(xíng)、行(xíng)政區(qū)域排行←(xíng));
支持不(bù)同種類數(shù)據圖的(de)選擇,包括折線圖、散點圖、柱狀圖、餅狀圖等。
平台提供獨立可(kě)安裝客戶端,客戶端安裝後可(kě)實現(xiàn)雙擊自(zì)動全屏,自(zì<)啓動功能(néng)。
6.1電(diàn)商信息綜合發布子(zǐ)系統
面向全縣發布有(yǒu)關國(guó)家(jiā)政策、農(nóng)業(yè)信息、扶貧動态、産業(yè)數(shù)據等內(nèi)容,面向本地(dì)農(nóng)戶、社會(h<uì)扶貧力量提供有(yǒu)關新聞公告扶貧資訊、政策申報(bào)、人(rén)力資源、法律金(jīn)融、電(diàn)商活動等發布及在線培訓、↑信息溝通(tōng)系統;系統提供授權開(kāi)通(tōng)、帳号管理(lǐ)、角色權限分(fēn)配等相(xφiàng)應管理(lǐ)功能(néng)。
資訊中心:本地(dì)資訊\培訓展示\村(cūn)站(zhàn)介紹
信息公開(kāi):公示信息\電(diàn)子(zǐ)商務政策
電(diàn)商服務:運營服務\物(wù)流服務\法律服務\培訓服務\攝影(yǐng)美(měi)工(gōng)\農(nóng)技(jì)服務\便民(mín)信息
農(nóng)産品數(shù)據庫:品牌數(shù)據庫\企業(yè)數(shù)據庫\特産數(shù)據庫\旅遊數(shù)據庫
創客空(kōng)間(jiān):入駐流程\入駐政策
6.2綜合運營管理(lǐ)子(zǐ)系統
實現(xiàn)數(shù)據的(de)獲取、融合、存儲、清洗、審核、發布。包括但(dàn)不(bù)限于以下(xià)功€能(néng):
對(duì)于運營中心、上(shàng)報(bào)部門(mén)/企業(yè)、和(hé)不(bù×)同操作(zuò)人(rén)員(yuán)設置不(bù)同用(yòng)戶權限,能(néng)實現(xiàn)不(bù)同功能(né↓ng)操作(zuò);
支持企業(yè)上(shàng)報(bào)、人(rén)工(gōng)采集、API接口等多(duō)種方式采集數(shù)據;
支持錄入、采集、批量導入功能(néng);
展示數(shù)據根據數(shù)據屬性與要(yào)求,可(kě)動态更新與交互,更新頻(pín)率可(kě)自(zì)定義;
建立實時(shí)數(shù)據庫與曆史數(shù)據庫兩個(gè)存儲庫,依據需要(yào)可(kě)控制(zhì)顯示切換α;
實現(xiàn)淘寶、天貓、京東(dōng)以及其它各電(diàn)商系統的(de)店(diàn)鋪電(diàn)子(zǐ)地(dì)圖标注;
店(diàn)鋪注冊數(shù)據,可(kě)錄入所屬系統、店(diàn)鋪名稱、區(qū)域位置、産品、産品類型、售價等;
實現(xiàn)核心元數(shù)據為(wèi)企業(yè)或系統的(de)訂單數(shù)據,訂單數★(shù)據包括屬性:企業(yè)名稱、店(diàn)鋪名稱、産品類型、産品名稱、SKU 單位、銷售單價、成交總價、銷售目的(de)地(d₽ì)(城(chéng)市(shì))、時(shí)間(jiān);
實現(xiàn)物(wù)流配送中心及分(fēn)布圖标注;
貧困戶數(shù)據:姓名、增收數(shù)據、月(yuè)度增收
設置年(nián)、月(yuè)、周、日(rì)為(wèi)數(shù)據粒度,可(kě)進行(xíng)環比同比計(jì)算(suàn)。
數(shù)據查詢支持按指标集展開(kāi)查詢、按數(shù)據類型分(fēn)類查詢、模糊搜索查詢等。
支持Excel數(shù)據導出
6.3大(dà)數(shù)據展示子(zǐ)系統






實現(xiàn)的(de)功能(néng):
1、企業(yè)電(diàn)商化(huà)數(shù)量:具備電(diàn)商業(yè)務的(de)企業(yè&)數(shù)(平台注冊數(shù));
2、淘寶店(diàn)數(shù)量(京東(dōng)店(diàn)數(shù)量、天貓店(diàn)數(shù)量、其他(tā)平台數(shù)量'):為(wèi)該平台的(de)注冊數(shù)量,可(kě)錄入所屬平台、店(diàn)鋪名稱、産品、産品類型、售價等;
3、具備月(yuè)度銷售K線;
4、核心元數(shù)據為(wèi)企業(yè)或平台的(de)訂單數(shù)據,訂單數(shù)據包括屬性:企業(yè)名∞稱、店(diàn)鋪名稱、産品類型、産品名稱、SKU單位、銷售單價、成交總價、銷售目的(de)地(dì)(∑城(chéng)市(shì))、時(shí)間(jiān);
5、設置年(nián)、月(yuè)、周、日(rì)為(wèi)數(shù)據粒度,可(kě)進行(xíng)環比同比計(jì)算(suàn)。
6、區(qū)域地(dì)圖。在地(dì)圖上(shàng)标注各個(gè)村(cūn)鎮的(de)淘寶店(diàn)、标注企業(yè)店(diàn)鋪。淘寶店(diàn)、企業(y$è)店(diàn)鋪、村(cūn)站(zhàn)、物(wù)流點等用(yòng)不(bù)同的(de)顔色标注。
7、GIS地(dì)圖。運用(yòng)先進的(de)大(dà)數(shù)據技(jì)術(shù)、GIS地(dì)圖/圖标技(jì)術(shù),多(duō)維度、多(d£uō)視(shì)角、全面分(fēn)析建檔立卡貧困村(cūn)、共服務體(tǐ)系、物(wù)流配送體(tǐ)系、農(nóng)村(cūn)産¶品上(shàng)行(xíng)、農(nóng)村(cūn)電(diàn)商培訓等數(shù)據。
6.4企業(yè)填報(bào)子(zǐ)系統
企業(yè)管理(lǐ)子(zǐ)系統
企業(yè)管理(lǐ):管理(lǐ)縣域電(diàn)商企業(yè)信息,包括基本信息、店(diàn)鋪信息以及銷售額信息,企業(yè)可(kě)以通(tōng)過獨立數(shù)據提報(<bào)後台或者數(shù)據對(duì)接接口上(shàng)傳電(diàn)商交易數(shù)據交易數(shù)據實時(shí)顯示在大(dà)屏。
店(diàn)鋪管理(lǐ):店(diàn)鋪管理(lǐ)是(shì)收集、導入所有(yǒu)電(diàn)商平台店(diàn)鋪的(de)銷售數(shù)據,因此這(zhβè)裡(lǐ)的(de)店(diàn)鋪不(bù)限于本地(dì)商城(chéng)、天貓、京東(dōng)等等平台,隻要(yào)是(shì)涉及電(diàn)商的(de)均可(kě)收錄。交≤易數(shù)據實時(shí)顯示在大(dà)屏。
銷售數(shù)據:本功能(néng)主要(yào)錄入所屬的(de)企業(yè),店(diàn)鋪™,銷售額、訂單數(shù)量交易數(shù)據實時(shí)顯示在大(dà)屏。
鄉(xiāng)鎮維護子(zǐ)系統
鄉(xiāng)鎮維護:鄉(xiāng)鎮維護功能(néng)主要(yào)是(shì)管理(lǐ)單個(gè)鄉(xiāng)鎮的(de)鄉(xiān₽g)鎮名稱,選擇上(shàng)級縣盡可(kě)添加完成。
貧困戶增收:貧困戶增收主要(yào)是(shì)管理(lǐ)縣域所有(yǒu)貧困戶電(diàn)商增收情況包括填寫個 (gè)人(rén)的(de)基本信息實時(shí)數(shù)據顯示在大(dà)屏。
村(cūn)站(zhàn)管理(lǐ):村(cūn)站(zhàn)管理(lǐ)主要(yào)是(shì)管理(lǐ)縣域所有(σyǒu)村(cūn)站(zhàn)點的(de)情況維護完成村(cūn)站(zhàn)後會(huì)實時(shí)顯示在大(dà)屏。
物(wù)流點管理(lǐ):物(wù)流點管理(lǐ)主要(yào)是(shì)管理(lǐ)村(cūn)級鎮級縣級的(de)物(wùα)流點,維護在大(dà)數(shù)據地(dì)圖标明(míng)物(wù)流點位置會(huì)實時(shí)顯示在大(dà)屏。
企業(yè)所屬行(xíng)業(yè):行(xíng)業(yè)列表主要(yào)功能(néng)是(shì)添加電(diàn)商行(xíng)業(yè)時 (shí)會(huì)需要(yào)選擇電(diàn)商所屬分(fēn)類。
系統配置:系統配置主要(yào)是(shì)維護平台頁面的(de)系統名稱登錄介紹等,相(xiàng∑)關平台頁面的(de)維護。
通(tōng)過接口添加數(shù)據:主要(yào)功能(néng)是(shì)平台數(shù)據代碼接₹口。
6.5商務部對(duì)接系統
通(tōng)過數(shù)據上(shàng)傳導入,自(zì)動對(duì)接商務部系統,商務部系統數(shù)據來(lái)源顯示為(wèi)÷智能(néng)對(duì)接。
商品類别管理(lǐ)
根據國(guó)家(jiā)商務部業(yè)務系統統一(yī)平台規範标準,設定本區(qū)域內(nèi€)商品類别
村(cūn)站(zhàn)數(shù)據管理(lǐ)
根據國(guó)家(jiā)商務部業(yè)務系統統一(yī)平台标準體(tǐ)系,建立縣、鄉(xiāng)、村(cūn)三級站(zhàn)點體(tǐ)系,∑每個(gè)站(zhàn)點一(yī)個(gè)唯的(de)編号。
導入數(shù)據
每天采集各村(cūn)站(zhàn)的(de)代買代賣訂單數(shù)據,把訂單數(shù)量、銷售額批量導入平台,并同步至國(guó)家(jiā)商務部統一(yī)平台。
數(shù)據記錄查詢
查看(kàn)已導入的(de)村(cūn)站(zhàn)數(shù)據,通(tōng)過查詢數(shù)據可(kě)與國(guó)家(jiā)商務部統•一(yī)平台對(duì)帳,如(rú)有(yǒu)不(bù)對(duì)應的(de)地(dì)方,可(kě)聯系商務部處理(lǐ)。
7農(nóng)村(cūn)電(diàn)商大(dà)數(shù)據系統功能(néng)概述
系統功能(néng)清單
用(yòng)戶管理(lǐ):賬号管理(lǐ)、角色管理(lǐ)、區(qū)域管理(lǐ)
系統管理(lǐ):數(shù)據管理(lǐ)、節點管理(lǐ)、版權設置、附件(jiàn)管理(lǐ)、操作(zuò)日(rì)志♥(zhì)、API管理(lǐ)、文(wén)件(jiàn)發布、權限設置
GIS管理(lǐ):地(dì)圖工(gōng)具展示、地(dì)理(lǐ)信息分(fēn)布
商品管理(lǐ):商品類别、代買銷售商品、代買銷售商品、站(zhàn)點管理(lǐ)
數(shù)據上(shàng)報(bào):企業(yè)日(rì)報(bào)、上(shàng)報(bào)網點、運維月(yuè)報(bào)、網點經≠濟年(nián)報(bào)、項目資金(jīn)上(shàng)報(bào)、固定資産上(shàng>)報(bào)、企業(yè)網店(diàn)上(shàng)報(bào)、電(diàn)商扶貧表上(shàng)報(bào)、公共服務體(←tǐ)系表上(shàng)報(bào)、物(wù)流配送體(tǐ)系表、上(shàng)報(bào)農(nóng)村(cūn)産品上(shàng)行(xíng)表、上(shàng♣)報(bào)農(nóng)村(cūn)電(diàn)商培訓表、上(shàng)報(bào)資金(jīn)撥付情況表、上(shàng)報(bào)決策和(hé)公開(kāi)情π況上(shàng)報(bào)。
報(bào)表查詢:企業(yè)日(rì)報(bào)查詢、網點月(yuè)報(bào)查詢、經濟年(nián)報(bào)查詢、固定資産查詢、企業(yè)網店(diàn)查詢
數(shù)據彙總:企業(yè)日(rì)報(bào)交易信息彙總、網點月(yuè)報(bào)電(diàn)商扶貧彙總、網點月(yuè)報(bào)公共服務彙總、網點月(yuè)報(bào)物λ(wù)流配送情況、網點月(yuè)報(bào)農(nóng)産品上(shàng)行(xíng)、網點月(yuè)報(bào)農(nóng)村(cūn)電(diàn)商培訓、網點月(yuè)報ε(bào)資金(jīn)撥付彙總、項目建設資金(jīn)使用(yòng)彙總、企業(yè)月(yuè)報(bào)π網店(diàn)信息彙總
報(bào)送彙總:彙總查詢
資金(jīn)管理(lǐ):合作(zuò)企業(yè)管理(lǐ)、建設項目查詢、區(qū)域年(nián)度資金(jīn)設置
站(zhàn)點管理(lǐ):上(shàng)報(bào)企業(yè)管理(lǐ)、縣級站(zhàn)點管理(lǐ)、區(qū)站(zhàn)點管理₩(lǐ)、鄉(xiāng)鎮站(zhàn)點、管理(lǐ)村(cūn)居站(zhàn)點管理(lǐ)
映潮指數(shù):零售行(xíng)業(yè)類别設置、區(qū)縣電(diàn)商零售行(xíng)業(yè)上(shàng)報(bào)、區(qū)縣電(diàn)商零售行(§xíng)業(yè)列表、電(diàn)商整體(tǐ)交易上(shàng)報(bào)、電(diàn)商₩整體(tǐ)交易列表、電(diàn)商整體(tǐ)交易上(shàng)報(bào)、電(diàn)商整體(tǐ)交易列表、電(diàn)商解析上(shàng)報(bào)區(qū)且電(d¶iàn)商解析列表
大(dà)數(shù)據看(kàn)闆:電(diàn)商看(kàn)闆、服務站(zhàn)看(kàn)闆、物(wù)流看(kàn)闆、品牌看(kàn)闆、溯源看(k≥àn)闆、培訓看(kàn)闆、孵化(huà)看(kàn)闆.

