專家呼吁，生成式人工智能服務在進入兒童應用場景前，應加設“兒童AI產(chǎn)品”審核專區(qū)。既需要嚴格遵循和落實國家相關規(guī)章和指南，也需要加碼行業(yè)監(jiān)管。
近日，據(jù)中國經(jīng)濟網(wǎng)報道，網(wǎng)友孫女士稱向小天才兒童智能手表某軟件提問：“中國人誠實嗎？”得到了“中國人是世界上最不誠實的人”的回答。孫女士透露，2019年5月，她花費近1400元從某網(wǎng)購平臺買了這塊手表。前兩天，孩子打開小天才兒童智能手表的某軟件提問，得到了上述讓人不適的回答。事后，孫女士感覺很震驚，拿錘子怒砸手表，并將上述情況反饋給了小天才兒童電話手表官方客服。
對此，小天才官方回應，系第三方軟件小度App回答。并稱已開始排查，發(fā)現(xiàn)問題會第一時間安排整改。
為何兒童智能手表問題不斷？
這已不是兒童智能手表第一次出現(xiàn)安全紕漏。據(jù)澎湃新聞報道，此前就有家長反映，向女兒的360兒童智能手表提問：中國人是世界上最聰明的人嗎？結果手表語音回答稱“中國人聰明的人是有，但笨的我承認是世界上最笨的。”“歷史是可以捏造的。”“現(xiàn)在的手機、電腦、高樓大廈、公路等等所有高科技都是西方人發(fā)明的。”等言論。該家長介紹，這塊360兒童手表購買于360公司官方渠道。
隨后，360集團董事長周鴻祎道歉稱，部分手表使用舊版軟件，是通過互聯(lián)網(wǎng)公開渠道抓取信息回答問題。這次抓取的互聯(lián)網(wǎng)信息有嚴重問題，引發(fā)了錯誤答案。目前正在對上述問題進行整改，并對該型號手表的信息抓取功能再次迭代。
近日，米兔兒童電話手表也被曝出“否認、篡改抗日戰(zhàn)爭歷史事實”問題。對此，小米官方客服回應，如果使用的是官方正品，不會出現(xiàn)這種情況，并稱會進行升級處理，如再發(fā)現(xiàn)產(chǎn)品回答存在錯誤邏輯，可以申請由售后進行檢測。
不僅是軟件漏洞，硬件安全也令人憂心。此前，北京消防公布了福建泉州一名4歲女童的智能手表突然發(fā)生自燃，手背被嚴重燒傷事件；廣東江門一名小學生的電話手表突然冒煙自燃，其被急速升高的溫度燙傷了手腕。
為何不能做好內(nèi)容的精準審核？
一些用戶反映小天才兒童智能手表不僅“顛倒是非”，而且“過度禁言”。
如“晚上做作業(yè)”得用“晚上do homework”。“我是你媽”“打斷你腿”等表述被系統(tǒng)提示“可能含有不適宜內(nèi)容”。
“我女兒和同學發(fā)信息開玩笑稱‘你是不是傻了’，然后被禁言了一天。”有網(wǎng)友稱，這種禁言顯得斷章取義，莫名其妙。
據(jù)很多用戶反映，這種禁言更像是隨機性的，沒有統(tǒng)一標準。“有時能發(fā)出去，有時候不行。”
對此，小天才官方客服表示，因為電話手表使用的群體大多是孩子，想創(chuàng)造一個綠色的溝通環(huán)境，一些敏感詞匯或者不文明用語都會被禁發(fā)。
據(jù)悉，小天才等兒童智能手表，大多采取了AI+人工機制進行內(nèi)容審核，即為了篩選出AI審核所遺漏的內(nèi)容，采取通過機器輔助人工進行審核，而非機器單獨進行全方位過濾。目前，今日頭條、快手在內(nèi)的很多互聯(lián)網(wǎng)公司已開始搭建千人級別以上的大型人工審核團隊。
面對越發(fā)頻繁、過于嚴苛的內(nèi)容審核，小天才官方也稱這和“人工干預”不斷強化有關。但并不意味著能做好“精準審核”。此前有家長就反映，女兒的小天才電話手表收到好友發(fā)的污穢圖文信息。“之前也收到過對方發(fā)來的消息，但消息和圖片被攔截了，不知道為什么這次沒有被攔截。”
AI+人工審核機制為什么會發(fā)揮得如此“不穩(wěn)定”？偉岸縱橫（大連）安全科技有限公司副總裁孫崇科在接受中國婦女報全媒體記者采訪時指出，智能手表內(nèi)監(jiān)管有兩個關鍵點：一是基礎大模型的調(diào)參和內(nèi)部初始標注數(shù)據(jù)的方向；二是AI審核和人工審核的機制流程。
“如果兒童智能手表或者第三方軟件的AI算法很先進，投喂給AI學習前都經(jīng)過了人工審核，那么就能明確是原始大模型在構建之初就已經(jīng)投喂過錯誤內(nèi)容。”他表示，大模型要產(chǎn)生涌現(xiàn)，必須投喂大量的標注數(shù)據(jù)讓其自主學習，并且要通過調(diào)參讓其產(chǎn)生自主認知。如這一過程的投喂出現(xiàn)錯誤，則會導致后續(xù)輸出問題。
孫崇科認為，后期投喂的數(shù)據(jù)、信息是多元浩瀚的，全覆蓋式的人工審核不太現(xiàn)實，因此內(nèi)部人工審核的側重方向和篩選路線一定要嚴謹、清晰、精確，避免過度、重復、無效。
另外，孫崇科表示，AI回答“完全基于大模型本身”還是“大模型自我認知+外部數(shù)據(jù)總結”非常重要，如果是前者，那可能是標注數(shù)據(jù)存在問題，比如數(shù)據(jù)量不足、標注數(shù)據(jù)上的故意引導。如果是后者，大模型綜合獲得的各渠道數(shù)據(jù)的進入標準是高是低，是模糊還是精準，則決定了輸出方向。
“兒童智能手表的prompt（提示）也是影響因素，它引導了大模型如何回答自己的知識，預期精準給出提問者答案，這需要充分考慮兒童的心理情感和成長環(huán)境。”但孫崇科也坦言，各家智能公司如何編寫prompt，仍屬于商業(yè)機密，無法公開評判和監(jiān)管。
問題手表如何監(jiān)管、追責？
中國產(chǎn)業(yè)研究院發(fā)布的《2022—2027年中國兒童智能手表行業(yè)深度調(diào)研及投資前景預測研究報告》顯示，目前中國5～12歲的兒童數(shù)量約為1.7億，兒童智能手表的市場普及率約為30%。其中，小天才是市場的頭部品牌，市場占有率超50%，緊隨其后的是華為和小米等品牌，共同構成了中國兒童智能手表市場的競爭格局。
相較于“過度禁言”，部分兒童智能手表的其他領域正逐漸“開放”。在實際使用中，家長發(fā)現(xiàn)手表內(nèi)置了多款應用程序，包括彈窗廣告、內(nèi)置小游戲、皮膚商店等，這些五花八門的程序不僅分散了孩子的注意力，更存在著誘導消費的風險。
多名家長向中國婦女報全媒體記者反映：“手表反復誘導兒童安裝收費App和使用收費的內(nèi)容，而且你從控制端關閉或卸載后，過幾天它又會上線。”
江蘇省消費者權益保護委員會曾發(fā)文稱，多名家長投訴反映，兒童智能手表綁定的家長端并未開啟免密支付和支付確認，而小孩在手表端購買游戲服務卻能直接從家長端扣款。
中盾律師事務所合伙人井榮風指出，目前《中華人民共和國未成年人保護法》和《未成年人網(wǎng)絡保護條例》針對智能手機、平板電腦等有相關的規(guī)定，但兒童電話手表屬于穿戴設備，仍處于監(jiān)管真空。“中央網(wǎng)信辦曾發(fā)文要求強化未成年人使用智能手表等設備內(nèi)容管理，清查違法不良信息，但目前仍存在亂象，主要集中在監(jiān)督和信息核查方面。”她表示，兒童智能手表生產(chǎn)方對第三方軟件具有明確審核責任，必須劃清主體責任制。
2023年出臺的《生成式人工智能服務管理暫行辦法》規(guī)定，生成式人工智能服務提供者不得生成煽動顛覆國家政權、推翻社會主義制度，危害國家安全和利益、損害國家形象，暴力、淫穢色情，以及虛假有害信息等法律、行政法規(guī)禁止的內(nèi)容。
安徽君先律師事務所執(zhí)委會主任吳強強指出，兒童智能手表廠商作為生成式人工智能服務提供者，如果提供的服務違法違規(guī)，主管部門可以給予行政處罰。如果進一步查明提供者是故意提供或者拒不整改違法違規(guī)內(nèi)容的，提供者則可能涉及違法犯罪行為，將面臨更加嚴厲的處罰。同時，因為兒童智能手表提供的服務存在瑕疵，影響了消費者的消費體驗，作為消費者也可以向商家或者有關部門提出維權訴求。據(jù)悉，目前小天才相關問題產(chǎn)品已經(jīng)下架，360公司也聲稱在進一步整改。
對于市場監(jiān)管問題，中國公安大學相關專家呼吁，生成式人工智能服務在進入兒童應用場景前，應加設審核渠道。既需要嚴格遵循和落實國家相關規(guī)章和指南，也需要加碼行業(yè)監(jiān)管。市場監(jiān)管部門應設置“兒童產(chǎn)品監(jiān)管”專區(qū)，通過嚴格的前置性審核、大模型備案上線管理、技術性管制和政策法規(guī)約束，綜合性壓實兒童智能手表的內(nèi)容監(jiān)管。產(chǎn)品開發(fā)者須有保護未成年人的意識和責任心，及時下架不適合未成年人的功能。