基于HBase健康大數(shù)據(jù)平臺(tái)性能優(yōu)化及應(yīng)用

基于HBase健康大數(shù)據(jù)平臺(tái)性能優(yōu)化及應(yīng)用 　　摘要：健康大數(shù)據(jù)已被納入國(guó)家大數(shù)據(jù)戰(zhàn)略布局，如何能夠收集有效的健康數(shù)據(jù)，構(gòu)建高性能、高可靠性、低成本和具有良好可擴(kuò)展性的健康大數(shù)據(jù)平臺(tái)至關(guān)重要。傳統(tǒng)的單純利用Hadoop、HBase無(wú)法滿足復(fù)雜的業(yè)務(wù)需求和實(shí)時(shí)查詢的要求，同時(shí)性能方面也存在一些問(wèn)題。分析了HBase的底層原理，對(duì)HBase的讀寫性能進(jìn)行優(yōu)化。借助Phoenix提供的SQL接口來(lái)操控HBase，可方便對(duì)集群和數(shù)據(jù)進(jìn)行管理。Phoenix針對(duì)HBase也提出了一系列優(yōu)化方案。利用HBase和Phoenix的特性構(gòu)建高性能的健康大數(shù)據(jù)平臺(tái)。實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的健康大數(shù)據(jù)系統(tǒng)具有更好的讀寫性能，能夠更好地滿足大數(shù)據(jù)發(fā)展需求。 　　關(guān)鍵詞：健康大數(shù)據(jù)；HBase；分布式數(shù)據(jù)庫(kù)；負(fù)載預(yù)測(cè) 　　DOIDOI：10.11907/rjdk.171146 　　中圖分類號(hào)：TP319文獻(xiàn)標(biāo)識(shí)碼：文章編號(hào)2017）010014604 　　0引言 　　通過(guò)移動(dòng)互聯(lián)網(wǎng)、智能設(shè)備和物聯(lián)網(wǎng)技術(shù)，人們能夠隨時(shí)追蹤記錄自己當(dāng)前的生理健康指標(biāo)、運(yùn)動(dòng)狀況、飲食情況和其它生活習(xí)慣，這些數(shù)據(jù)的收集能夠幫助挖掘出更有價(jià)值的醫(yī)療信息。然而，技術(shù)的發(fā)展仍無(wú)法跟上數(shù)據(jù)增長(zhǎng)的速度。對(duì)于大規(guī)模數(shù)據(jù)的存儲(chǔ)、管理和實(shí)時(shí)查詢?nèi)匀幻媾R很多問(wèn)題，同時(shí)健康監(jiān)測(cè)數(shù)據(jù)也缺乏統(tǒng)一標(biāo)準(zhǔn)，使大量數(shù)據(jù)無(wú)法共享利用，這無(wú)疑會(huì)影響健康監(jiān)測(cè)大數(shù)據(jù)的發(fā)展進(jìn)程。 　　本文對(duì)健康監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)與管理進(jìn)行研究，根據(jù)健康監(jiān)測(cè)數(shù)據(jù)的數(shù)據(jù)表示模型和數(shù)據(jù)形態(tài)，采用HBase大數(shù)據(jù)平臺(tái)研究健康監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)與組?形式，實(shí)現(xiàn)了健康大數(shù)據(jù)的存儲(chǔ)和管理，并提供高并發(fā)的讀寫性能與可擴(kuò)展性。 　　HBase是參照Google Bigtable實(shí)現(xiàn)的NoSQL數(shù)據(jù)庫(kù)，有著天然的大數(shù)據(jù)存儲(chǔ)優(yōu)勢(shì)[1]。它具有強(qiáng)一致性、隨機(jī)讀寫、面向列，以及可動(dòng)態(tài)修改、可水平伸縮的特性[2]。HBase支持范圍查詢以及行事務(wù)，可在廉價(jià)PC Server上搭建大規(guī)模的結(jié)構(gòu)化存儲(chǔ)集群。HBase非常適合于構(gòu)建高性能的健康大數(shù)據(jù)平臺(tái)。然而，HBase還處在高速發(fā)展時(shí)期，仍有一些問(wèn)題需要解決。Apache的Phoenix為人們操作HBase提供了更加便捷的溝通方式，其提供了標(biāo)準(zhǔn)的SQL和JDBC API的力量與完整的ACID事務(wù)的能力和后期綁定的靈活性。目前，關(guān)于HBase性能的優(yōu)化和研究還存在著諸多現(xiàn)實(shí)問(wèn)題，缺乏關(guān)鍵技術(shù)支持。本文重點(diǎn)研究了基于健康數(shù)據(jù)存儲(chǔ)的HBase集群的性能優(yōu)化與應(yīng)用，并采用HBase1.0.2版本、phoenix4.8版本進(jìn)行分析實(shí)驗(yàn)，旨在提供一個(gè)高性能、高可用的健康大數(shù)據(jù)存儲(chǔ)和管理平臺(tái)。 　　1健康大數(shù)據(jù)平臺(tái)分析與優(yōu)化 　　1.1健康數(shù)據(jù)模型設(shè)計(jì) 　　中華人民共和國(guó)國(guó)家衛(wèi)生和計(jì)劃生育委員會(huì)于2011年8月發(fā)布了《城鄉(xiāng)居民健康檔案基本數(shù)據(jù)集》，規(guī)定了城鄉(xiāng)居民健康檔案基本數(shù)據(jù)集的元數(shù)據(jù)屬性和數(shù)據(jù)元目錄。通過(guò)研究與分析該數(shù)據(jù)集，構(gòu)建了統(tǒng)一的健康檔案存儲(chǔ)模型，并轉(zhuǎn)化成HBase的數(shù)據(jù)模型，進(jìn)行數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)。 　　選取《高血壓患者隨訪數(shù)據(jù)元專用屬性》作為案例進(jìn)行研究分析。表1是分析得到的高血壓關(guān)系模型。其中行鍵采用身份證號(hào)碼、醫(yī)院編號(hào)、醫(yī)療項(xiàng)目和時(shí)間戳的組合鍵。 　　其中，NumRegionServer可以采用集群中的RegionServer數(shù)目，有利于分擔(dān)數(shù)據(jù)讀寫壓力，但也不宜過(guò)多，否則會(huì)造成集群性能下降。 　　1.3HBase數(shù)據(jù)查詢優(yōu)化 　　HBase在0.92之后引入了協(xié)處理器（Coprocessors），能夠更好地建立二級(jí)索引、復(fù)雜過(guò)濾器、訪問(wèn)控制等更為復(fù)雜的操作[5]。Phoenix則在此基礎(chǔ)上提供了更加方便的操作。Phoenix能夠用SQL的方式建立二級(jí)索引。Phoenix支持4種類型的索引技術(shù)：Covered Indexes、Functional Indexes、Global Indexing和Local Indexing，這些索引技術(shù)分別適用于不同的業(yè)務(wù)場(chǎng)景，主要是偏重于讀或?qū)憽?　　可以通過(guò)如下方式直接為HBase創(chuàng)建索引： 　　CREATE INDEX BLOOD_PRESSURE_INDEX ON BLOOD_PRESSURE （detail.id_number） INCLUDE（detail.user_name，detail.follow_date） 　　創(chuàng)建了一個(gè)名為BLOOD_PRESSURE_INDEX的索引，查詢id_number、user_name、follow_date字段可加快查詢速度，同時(shí)也可根據(jù)這些字段查詢所需的rowkey。如果查詢字段中包含了不在索引的字段且不是rowkey，索引則不會(huì)被觸發(fā)到，查詢?nèi)詴?huì)進(jìn)行全表掃描。 　　1.

相關(guān)知識(shí)

基于大數(shù)據(jù)平臺(tái)的醫(yī)療健康數(shù)據(jù)分析與應(yīng)用模式研究
基于云計(jì)算的健康醫(yī)療大數(shù)據(jù)平臺(tái)
國(guó)內(nèi)大數(shù)據(jù)與膳食營(yíng)養(yǎng)健康的研究及應(yīng)用進(jìn)展
健康醫(yī)療大數(shù)據(jù)平臺(tái)
醫(yī)療健康大數(shù)據(jù)平臺(tái)建設(shè)模式及應(yīng)用價(jià)值分析
大數(shù)據(jù)應(yīng)用 醫(yī)療健康應(yīng)用實(shí)例與系統(tǒng)分析(1)?
醫(yī)療健康大數(shù)據(jù)分析應(yīng)用云平臺(tái)解決方案.docx
醫(yī)療健康大數(shù)據(jù)可視化分析平臺(tái)建設(shè)和應(yīng)用總體解決方案.pptx
90%數(shù)據(jù)在沉睡，如何利用健康醫(yī)療大數(shù)據(jù)開放平臺(tái)釋放數(shù)據(jù)價(jià)值？
構(gòu)筑健康醫(yī)療大數(shù)據(jù)共享平臺(tái)

網(wǎng)址: 基于HBase健康大數(shù)據(jù)平臺(tái)性能優(yōu)化及應(yīng)用.doc http://m.gysdgmq.cn/newsview810676.html