關(guān)于案例背景

嗶哩嗶哩，作為中國(guó)Z世代高度聚集的綜合性視頻平臺(tái)，匯聚了2.72億月活用戶。也就是說(shuō)每?jī)蓚€(gè)中國(guó)的年輕人中，至少有一位是B站的用戶。每月，在B站有超過(guò)325萬(wàn)創(chuàng)作者，上傳、分享1100萬(wàn)則視頻作品，內(nèi)容涵蓋超過(guò)200萬(wàn)個(gè)文化標(biāo)簽，7000個(gè)核心圈層，囊括了Z世代青年各個(gè)興趣圈層的視頻類別和內(nèi)容，并通過(guò)彈幕、加評(píng)的模式鼓勵(lì)用戶產(chǎn)生更深入的社交互動(dòng)。

平臺(tái)上豐富的視聽(tīng)內(nèi)容正逐步成為兒童上網(wǎng)學(xué)習(xí)、娛樂(lè)的重要選擇之一?？紤]到兒童的心智發(fā)育尚未完善，缺乏應(yīng)對(duì)網(wǎng)絡(luò)上不良信息的能力和意識(shí)，平臺(tái)從保護(hù)、賦能的角度出發(fā)，以公平和非歧視為原則，在保護(hù)兒童的安全，支持兒童的發(fā)展上，通過(guò)人工智能技術(shù)和手段對(duì)社區(qū)中的不良信息進(jìn)行監(jiān)測(cè)和處理，并持續(xù)建設(shè)健全專業(yè)的團(tuán)隊(duì)對(duì)不良信息進(jìn)行系統(tǒng)性的防控和治理，從而創(chuàng)造一個(gè)促進(jìn)兒童友好型人工智能的網(wǎng)絡(luò)環(huán)境。

關(guān)于技術(shù)方案的具體措施

作為一家內(nèi)容平臺(tái)，嗶哩嗶哩平臺(tái)利用人工智能技術(shù)識(shí)別和干預(yù)社區(qū)中的“軟色情類”與“人身攻擊類”不良信息，降低對(duì)兒童的負(fù)面影響。同時(shí)，利用人工智能“優(yōu)選彈幕”技術(shù)，為兒童營(yíng)造一個(gè)更健康、積極、和諧，更為正面的彈幕觀看環(huán)境。具體而言，對(duì)于負(fù)向信息包含“軟色情類信息”以及“人身攻擊類信息”等兩個(gè)主要模塊，對(duì)于正向信息包含“彈幕優(yōu)選”模塊。

圖1 彈幕系統(tǒng)架構(gòu)圖

其中，在關(guān)鍵技術(shù)方面，首先“軟色情類”不良信息處理模塊。識(shí)別并處理彈幕軟色情的文本，存在三個(gè)主要的技術(shù)難點(diǎn)。第一，彈幕的文本較短，傳統(tǒng)的機(jī)器學(xué)習(xí)模型很難在很短的內(nèi)容上獲取學(xué)習(xí)到足夠的特征，對(duì)于文本的語(yǔ)義識(shí)別難度較大；第二，軟色情的評(píng)判標(biāo)準(zhǔn)難以統(tǒng)一，不同用戶對(duì)于軟色情文本的容忍程度和認(rèn)知程度不一，相同文本內(nèi)容在不同場(chǎng)景下也可能存在不同的含義；第三，軟色情信息分布失衡，在所有的彈幕中軟色情文本內(nèi)容的占比很低且較隱晦，樣本類別的分布失衡導(dǎo)致軟色情文本識(shí)別難度加大。針對(duì)技術(shù)難點(diǎn)，選擇Transformer的文本分類模型（圖1），搭建“軟色情類”不良信息的處理模塊。

圖2 Tansformer模型結(jié)構(gòu)

其次，“人身攻擊類”不良信息處理模塊?！叭松砉纛悺辈涣夹畔⒅饕韵聨追N類型：1.語(yǔ)義情感較為負(fù)面的內(nèi)容；2.帶有罵人、羞辱、嘲諷等詞匯的內(nèi)容；3.惡意玩梗，讓青少年產(chǎn)生不良體驗(yàn)等內(nèi)容?！叭松砉纛悺辈涣夹畔⒌倪^(guò)濾本質(zhì)上是一個(gè)文本二分類問(wèn)題。經(jīng)過(guò)綜合考慮，模型選擇Albert模型做為基準(zhǔn)。該模型是一種基于BERT模型的輕量級(jí)優(yōu)化，它基于嵌入?yún)?shù)化進(jìn)行因式分解和跨層參數(shù)共享的技術(shù)，大幅提升了訓(xùn)練速度。其模型結(jié)構(gòu)如圖2所示。

圖3 Albert模型結(jié)構(gòu)

對(duì)于“人身攻擊類”不良信息的模型處理同樣需要經(jīng)過(guò)數(shù)據(jù)準(zhǔn)備與模型構(gòu)建兩個(gè)階段。

在數(shù)據(jù)準(zhǔn)備階段，需要對(duì)于“人身攻擊類”彈幕進(jìn)行數(shù)據(jù)清洗、篩選和增強(qiáng)。模型采用confidence learning技術(shù)對(duì)數(shù)據(jù)進(jìn)行標(biāo)簽修正。以人身攻擊文本：非人身攻擊文本=1：5的比例，構(gòu)建有兩千萬(wàn)條彈幕的訓(xùn)練集進(jìn)行模型的訓(xùn)練，并在二十萬(wàn)條文本的驗(yàn)證集上進(jìn)行驗(yàn)證。

在模型構(gòu)建階段，模型會(huì)先對(duì)輸入的彈幕進(jìn)行tokenization（id化），然后對(duì)token、segment和position這三種embedding進(jìn)行相加，再通過(guò)encoder層拿到句子的表征向量，最后輸出一個(gè)0到1之間的概率值。越接近1表示該彈幕內(nèi)容越有可能包含人身攻擊內(nèi)容。根據(jù)B站的彈幕生態(tài)分布情況，需要不斷進(jìn)行模型的迭代優(yōu)化，減少青少年觀眾接觸“人工攻擊類”不良信息的可能性。

此外，“彈幕優(yōu)選”正向信息處理模塊。除了對(duì)于不良信息的過(guò)濾，社區(qū)還對(duì)于有利于兒童發(fā)展的積極向上的正向內(nèi)容進(jìn)行引導(dǎo)。以人工智能的技術(shù)對(duì)用戶生成的彈幕內(nèi)容進(jìn)行評(píng)分，更加有利于營(yíng)造更好的兒童觀看視頻的彈幕環(huán)境。

該模型的訓(xùn)練數(shù)據(jù)來(lái)自用戶的點(diǎn)贊彈幕。點(diǎn)贊代表的是觀眾對(duì)于該文本的態(tài)度，點(diǎn)贊數(shù)量越多代表觀眾對(duì)于文本內(nèi)容有更為積極的態(tài)度。人工智能系統(tǒng)優(yōu)先推送評(píng)分更高的彈幕，從而能夠正向引導(dǎo)社區(qū)的氛圍。

關(guān)于應(yīng)用效果

針對(duì)上述提到的三個(gè)信息處理模塊，在不同的業(yè)務(wù)場(chǎng)景下均實(shí)現(xiàn)了努力創(chuàng)造一個(gè)促進(jìn)兒童友好型人工智能的網(wǎng)絡(luò)環(huán)境的效果。

一是“軟色情類”不良信息處理模塊應(yīng)用于平臺(tái)中的文本軟色情識(shí)別。保護(hù)兒童的安全，保障兒童在互聯(lián)網(wǎng)上學(xué)習(xí)、娛樂(lè)的過(guò)程中不受到有害信息的危險(xiǎn)。

二是“人身攻擊類”不良信息處理模塊應(yīng)用于平臺(tái)中的人身攻擊類文本識(shí)別。在識(shí)別并進(jìn)行運(yùn)營(yíng)的干預(yù)后，使整體人身攻擊類彈幕占比下降約40%。當(dāng)前模型預(yù)測(cè)有較高的準(zhǔn)確率，為兒童的觀看體驗(yàn)提供了保護(hù)和支持。

三是“彈幕優(yōu)選”正向信息處理模塊應(yīng)用于平臺(tái)中的正面信息引導(dǎo)。篩選出能夠營(yíng)造積極氛圍的彈幕，營(yíng)造了良好的社區(qū)氛圍。應(yīng)用該模塊能夠使社區(qū)中的正向內(nèi)容率整體提升33%。此外，平臺(tái)相配套的“能量加油站”等心理健康服務(wù)功能，能夠進(jìn)一步引導(dǎo)兒童得到線上或線下的人工支持，賦能兒童的健康成長(zhǎng)。

作為中國(guó)最大的內(nèi)容社區(qū)平臺(tái)之一，嗶哩嗶哩長(zhǎng)期關(guān)注兒童的網(wǎng)絡(luò)安全相關(guān)風(fēng)險(xiǎn)與趨勢(shì)，在保護(hù)、賦能兒童方面積極投入。未來(lái)，嗶哩嗶哩將持續(xù)投入專業(yè)的團(tuán)隊(duì)資源，為創(chuàng)造一個(gè)促進(jìn)兒童友好型人工智能的網(wǎng)絡(luò)環(huán)境積極貢獻(xiàn)。（案例報(bào)送單位來(lái)自上海寬娛數(shù)碼科技有限公司，上文為部分節(jié)選，如需全文請(qǐng)聯(lián)系項(xiàng)目組。）

來(lái)源： 光明網(wǎng)