互聯(lián)網(wǎng)的發(fā)展普及，改變了公眾獲取資訊的方式。而互聯(lián)網(wǎng)平臺(tái)出現(xiàn)內(nèi)容井噴、信息爆炸，也使得內(nèi)容安全風(fēng)險(xiǎn)日益增加，不斷威脅互聯(lián)網(wǎng)內(nèi)容生態(tài)的健康發(fā)展。同時(shí)，運(yùn)營者、開發(fā)者、平臺(tái)等多方也開始對(duì)內(nèi)容體驗(yàn)、內(nèi)容安全提出更高的要求。

為了幫助開發(fā)者更好地理解、防控內(nèi)容安全風(fēng)險(xiǎn)，騰訊繼推出“珊瑚內(nèi)容安全助手”小程序后，現(xiàn)通過「微信開放社區(qū) · 服務(wù)平臺(tái)」正式上線“珊瑚安全”API，將信息安全優(yōu)勢能力開放給更多的小程序開發(fā)者，幫助發(fā)現(xiàn)圖片、文字內(nèi)容里的惡意內(nèi)容，提供更精細(xì)、更高效的內(nèi)容安全服務(wù)。

精細(xì)化內(nèi)容安全能力，向小程序開發(fā)者開放

“珊瑚安全”API目前為開發(fā)者提供圖片內(nèi)容安全、文本內(nèi)容安全兩大服務(wù)，支持對(duì)用戶在各種場景上傳的圖片、文本內(nèi)容進(jìn)行識(shí)別，開發(fā)者可按需選用色情、賭博、暴恐等惡意內(nèi)容識(shí)別服務(wù)，并獲取到命中的惡意類型、風(fēng)險(xiǎn)概率等詳細(xì)信息，幫助開發(fā)者更精細(xì)化地做好內(nèi)容審核工作。

圖片內(nèi)容安全

圖片內(nèi)容安全基于騰訊海量數(shù)據(jù)資源和深度學(xué)習(xí)技術(shù)，為用戶提供圖片內(nèi)容的智能審核服務(wù)，不僅能幫助運(yùn)營者、開發(fā)者降低內(nèi)容違規(guī)風(fēng)險(xiǎn)，而且能大幅度節(jié)省人工審核成本，保護(hù)業(yè)務(wù)健康發(fā)展。

在用戶頭像、社區(qū)發(fā)圖、相冊(cè)制作、直播封面、信息流、電商、游戲等圖片審核應(yīng)用場景中，該能力支持對(duì)色情、賭博、暴力恐怖等惡意內(nèi)容進(jìn)行識(shí)別，開發(fā)者可根據(jù)需要選用相應(yīng)的識(shí)別服務(wù)，并獲取到命中惡意類型、風(fēng)險(xiǎn)概率等詳細(xì)信息。

文本內(nèi)容安全

文本內(nèi)容安全接口能夠識(shí)別文本信息中的色情、暴恐等惡意內(nèi)容，幫助運(yùn)營者及時(shí)、精準(zhǔn)地防范違規(guī)風(fēng)險(xiǎn)。

該功能基于10萬級(jí)大規(guī)模敏感詞庫，結(jié)合多種文本對(duì)抗方法，運(yùn)用深度學(xué)習(xí)技術(shù)，高效識(shí)別高危有害內(nèi)容。同時(shí)還會(huì)根據(jù)大規(guī)模語料和實(shí)時(shí)反誤殺系統(tǒng)，不斷更新迭代，確保效果持續(xù)提升。

在用戶昵稱、社區(qū)評(píng)論、彈幕、文章內(nèi)容等文本審核應(yīng)用場景中，該能力可分級(jí)、分類識(shí)別文本惡意，并識(shí)別文本中涉及惡意的關(guān)鍵詞。

助力開發(fā)者，維護(hù)健康平臺(tái)生態(tài)

目前，微信小程序日活躍賬戶數(shù)已超3億，與微信一起“創(chuàng)造”的小程序及小游戲開發(fā)者已超150 萬。微信生態(tài)的繁榮發(fā)展，需要運(yùn)營者、開發(fā)者和平臺(tái)的共同努力。

隨著小程序用戶的日益增多，開發(fā)者在用戶內(nèi)容審核方面的投入也日益繁重。

針對(duì)開發(fā)者在內(nèi)容安全審核上的痛點(diǎn)，騰訊于 2019 年 6 月推出微信首個(gè)移動(dòng)端安全鑒別工具“珊瑚內(nèi)容安全助手”小程序，讓運(yùn)營者、開發(fā)者可以隨時(shí)隨地在小程序內(nèi)檢驗(yàn)文字、圖片的合規(guī)性，對(duì)內(nèi)容識(shí)別的效果進(jìn)行體驗(yàn)，以及對(duì)自己的產(chǎn)品進(jìn)行風(fēng)險(xiǎn)自測。

“珊瑚內(nèi)容安全助手” 小程序讓運(yùn)營者、開發(fā)者去體驗(yàn)和理解內(nèi)容安全風(fēng)險(xiǎn)，而“珊瑚安全”API則是讓運(yùn)營者、開發(fā)者實(shí)現(xiàn)接入內(nèi)容安全服務(wù)。

“珊瑚安全”API基于騰訊云AI、“云鸮”等內(nèi)部優(yōu)勢能力封裝，通過微信開放社區(qū)向開發(fā)者輸出。

騰訊安全專家表示，未來“珊瑚內(nèi)容安全助手”將會(huì)繼續(xù)加強(qiáng)識(shí)別能力、豐富識(shí)別類型，在如今對(duì)圖片、文字的識(shí)別能力基礎(chǔ)上，增加對(duì)視頻內(nèi)容的識(shí)別能力。此外，“珊瑚內(nèi)容安全助手”小程序內(nèi)將增加用戶反饋入口，開發(fā)者可隨時(shí)通過入口提交反饋。

目前，“珊瑚安全”API已經(jīng)對(duì)接微信服務(wù)市場，包括“小年糕”“小打卡”“票圈長視頻”“有車群空間”等小程序現(xiàn)已接入使用。

“小年糕”小程序團(tuán)隊(duì)表示，在有害內(nèi)容管控方面，微信為開發(fā)者提供了一系列工具，幫助開發(fā)者自動(dòng)化地篩選有害信息，防止有害信息的過度泛濫，不僅為開發(fā)者節(jié)省了時(shí)間，也有力促進(jìn)了行業(yè)的內(nèi)容安全。

“珊瑚安全”API將不僅提高開發(fā)者的內(nèi)容審核能力，極大程度節(jié)約開發(fā)者在內(nèi)容安全上投入的精力和成本，后續(xù)亦將重點(diǎn)提升適用微信生態(tài)安全要求的能力，共建健康繁榮的平臺(tái)生態(tài)。