北京濤思數(shù)據(jù)科技有限公司( TAOS Data ) 瞄準(zhǔn)日益增長的物聯(lián)網(wǎng)數(shù)據(jù)市場,專注時序空間大數(shù)據(jù)的存儲、查詢、分析和計算,不依賴任何開源或第三方軟件,開發(fā)了擁有自主知識產(chǎn)權(quán)、100% 自主可控的高性能、分布式、支持SQL的時序數(shù)據(jù)庫 TDengine。TDengine 可廣泛運(yùn)用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運(yùn)維等領(lǐng)域。公司已經(jīng)申請多項技術(shù)發(fā)明專利,且全部提交 PCT 專利申請。
(一)開源項目情況簡介
申報人:北京濤思數(shù)據(jù)科技有限公司
項目名稱:TDengine
開源許可協(xié)議:AGPL
項目主導(dǎo)企業(yè):濤思數(shù)據(jù)
所在開源社區(qū):無
開發(fā)者:187 位開發(fā)者,其中 48 位外部開發(fā)者
(二)開源項目功能與性能簡介
TDengine是一款開源、高性能、分布式、支持 SQL 的時序數(shù)據(jù)庫,其核心代碼包括集群功能全部開源。同時 TDengine 還帶有內(nèi)建的緩存、流式計算、數(shù)據(jù)訂閱等系統(tǒng)功能,能大幅減少研發(fā)和運(yùn)維的復(fù)雜度。TDengine 可以讓大量設(shè)備、數(shù)據(jù)采集器每天產(chǎn)生的高達(dá) TB 甚至 PB 級的數(shù)據(jù)能得到高效實時的處理,對業(yè)務(wù)的運(yùn)行狀態(tài)進(jìn)行實時的監(jiān)測、預(yù)警,并從大數(shù)據(jù)中挖掘出商業(yè)價值。
TDengine 的獨(dú)特優(yōu)勢有:
高性能:通過創(chuàng)新的存儲引擎設(shè)計,無論是數(shù)據(jù)寫入還是查詢,TDengine的性能比通用數(shù)據(jù)庫快 10倍以上,也遠(yuǎn)超其他時序數(shù)據(jù)庫,而且存儲空間也大為節(jié)省。
分布式:通過原生分布式的設(shè)計,TDengine提供了水平擴(kuò)展的能力,只需要增加節(jié)點(diǎn)就能獲得更強(qiáng)的數(shù)據(jù)處理能力,同時通過多副本機(jī)制保證了系統(tǒng)的高可用。
TDengine采用 SQL作為數(shù)據(jù)查詢語言,減少學(xué)習(xí)和遷移成本,同時提供 SQL 擴(kuò)展來處理時序數(shù)據(jù)特有的分析,而且支持方便靈活的
schemaless數(shù)據(jù)寫入。
完全開源,TDengine的核心代碼包括集群功能全部開源,全球超過 109.0k個實例,GitHub Star 18k,F(xiàn)ork 4.3k,社區(qū)活躍。
(三)項目應(yīng)用場景及效果
TDengine 能被廣泛運(yùn)用于物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、IT 運(yùn)維、能源、金融等領(lǐng)域。自 2018 年商業(yè)化版本發(fā)布后,TDengine 已經(jīng)在全球 400 多個城市中,被廣泛應(yīng)用在了物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT運(yùn)維、車聯(lián)網(wǎng)、能源和金融等各行業(yè),為各企業(yè)的數(shù)字化改造和轉(zhuǎn)型、效率提升以及存儲、運(yùn)維成本降低上做出很大貢獻(xiàn)。在已發(fā)布的70余個Case 文章中,我們可以看到各種傳統(tǒng)監(jiān)控平臺的性能癥結(jié)被解決,數(shù)字化、智慧化轉(zhuǎn)型變得更順暢,一部分案例如下:
順豐科技:根據(jù)容量規(guī)劃完成相關(guān)參數(shù)調(diào)整后,在理想情況下,TDengine集群寫入速度最高達(dá)到90w條/s的寫入速度。服務(wù)端物理機(jī)
由 21 臺降至 3 臺,每日所需存儲空間為 93G(2副本),同等副本下僅為OpenTSDB+HBase的約 1/10。
零跑科技:不用再像 MongoDB 一樣,在查詢前還需要根據(jù)業(yè)務(wù)加工出需求數(shù)據(jù),TDengine的列式存儲,直接以 SQL 計算即可,大大提高了業(yè)務(wù)的靈活性,同時其高壓縮算法提升了 10 到 20倍的壓縮性能。
跨越速運(yùn):應(yīng)用TDengine后服務(wù)器數(shù)量從 21 臺降至 3 臺,壓縮一個 5 萬行、每行在 600 字節(jié)以上的表,壓縮后的磁盤 size 是 1665KB,壓縮率高達(dá) 1%。
浙商銀行:目前微服務(wù)可視化服務(wù)治理平臺對并發(fā)要求較高,但是TDengine可以很好地滿足需求,插入/查詢平均耗時均在 10ms 以內(nèi)。
同花順:在穩(wěn)定性上,改造前調(diào)用數(shù)據(jù)情況共40W次,共出現(xiàn)異常 0.01% 的異常,使用TDengine改造后出現(xiàn)異常降低至 0.001%。
得物:在批量寫入設(shè)置上設(shè)置最大寫入條數(shù),耗時基本也能保持在毫秒。目前 Sentinel 的數(shù)據(jù)沒有使用副本,全量數(shù)據(jù)分散在三臺機(jī)器中,根據(jù)計算得知TDengine對于 Sentinel 監(jiān)控數(shù)據(jù)的壓縮率達(dá) 10%,相當(dāng)可觀。
貨拉拉:將監(jiān)控的數(shù)據(jù)存儲由 MySQL 改造為TDengine后,不僅頂住了監(jiān)控數(shù)據(jù)增長所帶來的壓力,還節(jié)約了存儲空間,成本壓縮到了原來的 1/10 甚至更低。歷史原生監(jiān)控數(shù)據(jù)可回溯時間也變得更長,之前存儲 3 天原生數(shù)據(jù)及聚合數(shù)據(jù)的空間,現(xiàn)在可供原始數(shù)據(jù)存儲 45 天。