為什么合成數(shù)據(jù)是人工智能的必備條件？

企業(yè)正在收集拍字節(jié)、艾字節(jié)甚至澤字節(jié)數(shù)量級(jí)的數(shù)據(jù)。

但數(shù)據(jù)是混亂的，往往是分散和孤立的。許多企業(yè)對(duì)于在某些環(huán)境中使用數(shù)據(jù)猶豫不決，因?yàn)槠渚哂懈叨葘Ｓ行?。在電信等受監(jiān)管行業(yè)中，由于其高度敏感的性質(zhì)，許多數(shù)據(jù)甚至無法被觸及。

由于這些原因和其他原因，包括缺乏人工智能所需的大規(guī)?？捎脭?shù)據(jù)、數(shù)據(jù)偏差或數(shù)據(jù)漂移，越來越多的企業(yè)正在轉(zhuǎn)向合成數(shù)據(jù)。合成數(shù)據(jù)，顧名思義，這不是真實(shí)數(shù)據(jù)，但與真實(shí)數(shù)據(jù)非常相似。

(相關(guān)資料圖)

增強(qiáng)、保護(hù)現(xiàn)實(shí)世界的數(shù)據(jù)

合成數(shù)據(jù)在數(shù)學(xué)和統(tǒng)計(jì)上反映了現(xiàn)實(shí)世界的數(shù)據(jù)。但它不是從現(xiàn)實(shí)世界中收集和測(cè)量的，而是通過計(jì)算機(jī)模擬、算法、簡(jiǎn)單規(guī)則、統(tǒng)計(jì)建模、模擬和其他基于小型、匿名的現(xiàn)實(shí)世界樣本的技術(shù)創(chuàng)建出來的。

雖然真實(shí)數(shù)據(jù)幾乎總是從數(shù)據(jù)中獲取洞察的最佳來源，但由于隱私法規(guī)，真實(shí)數(shù)據(jù)往往價(jià)格昂貴、不平衡、不可用或無法使用。合成數(shù)據(jù)可以成為真實(shí)數(shù)據(jù)的有效補(bǔ)充或替代。

人工數(shù)據(jù)可以幫助減輕真實(shí)數(shù)據(jù)的弱點(diǎn)，或者可以在不存在實(shí)時(shí)數(shù)據(jù)、數(shù)據(jù)高度敏感或存在偏見、或無法使用、共享或移動(dòng)的情況下使用。但它并不總是需要接受真實(shí)數(shù)據(jù)的訓(xùn)練：它可以通過查看領(lǐng)域或機(jī)構(gòu)知識(shí)或真實(shí)數(shù)據(jù)的痕跡來生成。

隨著數(shù)據(jù)密集型生成人工智能模型的大量使用以及隱私和安全的必要性，各行業(yè)領(lǐng)域的企業(yè)正在認(rèn)識(shí)到合成數(shù)據(jù)的潛力：2021年其全球市場(chǎng)價(jià)值僅為1.689億美元，但預(yù)計(jì)將增長(zhǎng)到2031年將達(dá)到35億美元，復(fù)合年增長(zhǎng)率接近36%。

Gartner甚至預(yù)測(cè)，到2030年，人工智能模型中的合成數(shù)據(jù)將完全蓋過真實(shí)數(shù)據(jù)。

利用合成數(shù)據(jù)克服隱私障礙

Vodafone作為一家跨國企業(yè)，在多個(gè)不同的司法管轄區(qū)運(yùn)營，有著不同的規(guī)則和法規(guī)，自然會(huì)在數(shù)據(jù)使用方面受到阻礙。主要由于隱私問題，對(duì)數(shù)據(jù)的訪問通常受到限制，當(dāng)涉及到跨地理邊界的數(shù)據(jù)流動(dòng)時(shí)，也存在限制。

在這方面，Vodafone與總部位于倫敦的合成數(shù)據(jù)初創(chuàng)企業(yè)Hazy合作。該企業(yè)于3月份宣布獲得900萬美元的A輪種子融資，主要與Vodafone、Accenture、PwC、BMW Group和Wells Fargo等大型組織合作，因?yàn)樗麄兌荚跀?shù)據(jù)方面面臨最大的問題。

這些大型企業(yè)擁有“大量敏感數(shù)據(jù)”，以及分散在不同地區(qū)的“大量數(shù)據(jù)孤島”。

這些企業(yè)的工具采用結(jié)構(gòu)化數(shù)據(jù)集，并使用機(jī)器學(xué)習(xí)(ML)來進(jìn)行掃描，以識(shí)別列之間的趨勢(shì)、模式、相關(guān)性、差異和關(guān)系。無論數(shù)據(jù)落在哪里，都可以要求它生成一個(gè)真實(shí)的數(shù)據(jù)點(diǎn)。

該工具可以生成比源數(shù)據(jù)集中更多的數(shù)據(jù)，并且在保留數(shù)據(jù)特征但不包含敏感細(xì)節(jié)的安全環(huán)境中生成數(shù)據(jù)。

最全面的數(shù)據(jù)分析，加速機(jī)器學(xué)習(xí)

Vodafone正在尋求進(jìn)行更全面的數(shù)據(jù)分析，研究不同國家的不同廣告活動(dòng)是如何運(yùn)作的，并從這些數(shù)據(jù)集中學(xué)習(xí)。

“宏偉計(jì)劃”是在每個(gè)國家創(chuàng)建合成數(shù)據(jù)資產(chǎn)，并將其聚合到一個(gè)中心位置，以便進(jìn)行更廣泛、更大規(guī)模的分析。例如，客戶流失分析。

其他感興趣的領(lǐng)域包括負(fù)載預(yù)測(cè)和欺詐預(yù)測(cè)，以及網(wǎng)絡(luò)中斷的檢測(cè)和預(yù)測(cè)。

人工數(shù)據(jù)的一大用例是機(jī)器學(xué)習(xí)：加快創(chuàng)建和改進(jìn)模型，以及執(zhí)行快速實(shí)驗(yàn)的內(nèi)部開發(fā)流程。

通常沒有足夠的數(shù)據(jù)訪問權(quán)限，雖然可以使用開源數(shù)據(jù)，但這通常不是需要的，不適合情況。需要?jiǎng)?chuàng)建反映網(wǎng)絡(luò)現(xiàn)實(shí)的合成數(shù)據(jù)。

人工數(shù)據(jù)有助于改善和加速數(shù)據(jù)訪問，并更快地啟動(dòng)項(xiàng)目，從而提高生產(chǎn)力和企業(yè)的敏捷性。

數(shù)據(jù)就像機(jī)器學(xué)習(xí)的燃料。沒有數(shù)據(jù)，就無法進(jìn)行監(jiān)督學(xué)習(xí)。

促進(jìn)協(xié)作，加強(qiáng)自動(dòng)化

Vodafone龐大的移動(dòng)網(wǎng)絡(luò)供應(yīng)商生態(tài)系統(tǒng)也在進(jìn)行機(jī)器學(xué)習(xí)創(chuàng)新，如果想要訓(xùn)練新的機(jī)器學(xué)習(xí)模型，就需要數(shù)據(jù)。

但要分發(fā)網(wǎng)絡(luò)數(shù)據(jù)并不容易。相反，提供合成數(shù)據(jù)，可以消除這些障礙。

軟件測(cè)試是另一個(gè)重要的用例。Vodafone正在內(nèi)部開發(fā)更多軟件，這需要進(jìn)行測(cè)試。人工數(shù)據(jù)可以幫助確定何時(shí)可能發(fā)生故障、特定網(wǎng)絡(luò)軟件組件上的負(fù)載如何隨時(shí)間變化、如何將計(jì)算資源最佳地分配給軟件組件，以及如何將能耗降至最低。

測(cè)試每個(gè)大企業(yè)的基本業(yè)務(wù)可能需要數(shù)年時(shí)間，最大的障礙是獲取代表性生產(chǎn)數(shù)據(jù)。

此外，合成數(shù)據(jù)對(duì)于網(wǎng)絡(luò)自動(dòng)化很重要。因此，希望盡可能實(shí)現(xiàn)自動(dòng)化，以進(jìn)行預(yù)測(cè)。

電信以外的合成數(shù)據(jù)考慮

當(dāng)然，合成數(shù)據(jù)不僅僅在電信領(lǐng)域有用例。它被一些企業(yè)用來微調(diào)大型語言模型(LLM)，而不會(huì)泄露企業(yè)特定的數(shù)據(jù)，這些數(shù)據(jù)對(duì)ChatGPT等公共模型“超級(jí)敏感”。

與此同時(shí)，在銀行業(yè)，人工數(shù)據(jù)已被用作沙盒系統(tǒng)的一部分，以幫助開發(fā)圍繞欺詐檢測(cè)和洗錢的新技術(shù)。與此同時(shí)，BMW利用合成數(shù)據(jù)，對(duì)潛在客戶的信用狀況做出了更快、更準(zhǔn)確的決策。Accenture開發(fā)了一款應(yīng)用，旨在根據(jù)客戶的信用卡和借記卡交易記錄，識(shí)別易受影響的客戶，以便及早干預(yù)，防止出現(xiàn)不良財(cái)務(wù)狀況。

同樣，該技術(shù)可用于生成數(shù)據(jù)集的某些區(qū)域，以更能反映現(xiàn)實(shí)。例如，假設(shè)一個(gè)數(shù)據(jù)集只有20%是女性，組織可以再生成30%，以更好地服務(wù)其用戶群。

人工數(shù)據(jù)提高了企業(yè)創(chuàng)新的強(qiáng)度，可以快速進(jìn)行實(shí)驗(yàn)和創(chuàng)新。

獲得認(rèn)可，決定企業(yè)成熟度

從文化的角度來看，使用合成數(shù)據(jù)可以幫助隱私官員放松心情，并消除其阻礙創(chuàng)新甚至是數(shù)據(jù)科學(xué)家敵人的看法。

我們可以將合成數(shù)據(jù)視為真正的匿名數(shù)據(jù)。但盡管如此，由于它改變了數(shù)據(jù)在組織中移動(dòng)的方式，因此必須得到首席信息安全官、首席信息官、首席執(zhí)行官、安全和法律團(tuán)隊(duì)以及其他高管和部門領(lǐng)導(dǎo)的支持。

從小事做起，建立證據(jù)點(diǎn)。為了支持這一點(diǎn)，Hazy創(chuàng)建了一個(gè)合成數(shù)據(jù)成熟度模型。成熟階段包括探索、評(píng)估、操作化、擴(kuò)展和嵌入。

不過，同樣重要的是，要解決人工數(shù)據(jù)是“假的”或不準(zhǔn)確的反彈。

有一些誤解認(rèn)為，使用合成材料會(huì)失去一些準(zhǔn)確性。合成數(shù)據(jù)永遠(yuǎn)不會(huì)像真實(shí)數(shù)據(jù)那樣100%準(zhǔn)確。

的確。通過將數(shù)據(jù)保密，會(huì)在準(zhǔn)確性上有所犧牲。但盡管略有下降，但還是有很多有用之處。

最終，合成數(shù)據(jù)將迎來它的時(shí)代：監(jiān)管機(jī)構(gòu)正在開始探索其可能性，隨著越來越多的企業(yè)接受它，圍繞數(shù)據(jù)使用和共享的行業(yè)標(biāo)準(zhǔn)將出現(xiàn)。

這對(duì)于合成數(shù)據(jù)來說，是一個(gè)有趣的時(shí)刻。合成數(shù)據(jù)是一個(gè)復(fù)雜的產(chǎn)品，企業(yè)不太容易采用。但未來幾年將是一個(gè)相當(dāng)重要的轉(zhuǎn)折點(diǎn)。

關(guān)鍵詞：