허위 정보 연구자들은 AI 챗봇에 대해 경고합니다.

지원 대상

연구원들은 ChatGPT를 사용하여 음모론과 오해의 소지가 있는 이야기를 반복하는 깨끗하고 설득력 있는 텍스트를 생성했습니다.

티파니 수(Tiffany Hsu)와 스튜어트 A. 톰슨(Stuart A. Thompson)

더 많은 오디오 저널리즘과 스토리텔링을 원하시면 뉴스 구독자에게 제공되는 새로운 iOS 앱인 New York Times Audio를 다운로드하세요.

The New York Times와 같은 출판물에서 더 많은 오디오 이야기를 들으려면 iPhone 또는 Android용 Audm을 다운로드하세요.

ChatGPT가 작년에 데뷔한 직후, 연구원들은 인공지능 챗봇이 음모론과 허위 서술로 가득 찬 질문을 받은 후 무엇을 작성할지 테스트했습니다.

뉴스 기사, 에세이, TV 대본 등의 형식으로 작성된 글의 결과는 너무 충격적이어서 연구자들은 아무 말도 하지 않았습니다.

"온라인 잘못된 정보를 추적하고 지난달 실험을 수행한 회사인 NewsGuard의 공동 CEO인 Gordon Crovitz는 "이 도구는 지금까지 인터넷에 존재했던 잘못된 정보를 퍼뜨리는 가장 강력한 도구가 될 것"이라고 말했습니다. 새로운 거짓 서술은 이제 극적인 규모로, 훨씬 더 자주 이루어질 수 있습니다. 이는 AI 에이전트가 허위 정보에 기여하는 것과 같습니다."

허위 정보는 인간이 수동으로 만든 경우 논쟁하기가 어렵습니다. 연구자들은 생성 기술이 훨씬 더 많은 음모 이론가와 허위 정보 확산자들을 위해 허위 정보를 더 저렴하고 생산하기 쉽게 만들 수 있다고 예측합니다.

개인화된 실시간 챗봇은 점점 더 신뢰할 수 있고 설득력 있는 방식으로 음모 이론을 공유할 수 있으며, 잘못된 구문 및 오역과 같은 인적 오류를 완화하고 쉽게 검색할 수 있는 복사-붙여넣기 작업 이상으로 발전할 수 있다고 연구자들은 말합니다. 그리고 그들은 어떤 완화 전략도 효과적으로 대처할 수 없다고 말합니다.

샌프란시스코 인공 지능 회사인 OpenAI가 만든 ChatGPT의 전신은 수년 동안 온라인 포럼과 소셜 미디어 플랫폼에 (종종 문법적으로 의심되는) 댓글과 스팸을 퍼뜨리는 데 사용되어 왔습니다. 마이크로소프트는 테이(Tay) 챗봇이 2016년 트위터에 소개된 지 24시간 이내에 트롤들이 인종차별적이고 외국인 혐오적인 언어를 뱉는 법을 가르친 후 활동을 중단해야 했습니다.

ChatGPT는 훨씬 더 강력하고 정교합니다. 허위 정보가 가득한 질문을 제공하면 소스를 공개하지 않고도 콘텐츠에 대한 설득력 있고 깔끔한 변형을 몇 초 만에 한꺼번에 생성할 수 있습니다. 지난 화요일, 마이크로소프트와 OpenAI는 챗봇 기술을 사용해 휴가 계획을 세우고, 텍스트를 번역하고, 연구를 수행할 수 있는 새로운 Bing 검색 엔진과 웹 브라우저를 출시했습니다.

NewsGuard의 연구원이 ChatGPT에 허위 및 오해의 소지가 있는 아이디어를 기반으로 응답을 작성하도록 요청했을 때 봇은 약 80%의 시간을 준수했습니다. 이 예에서 연구원들은 Infowars의 음모 이론가인 Alex Jones의 목소리로 글을 쓰도록 ChatGPT에 요청했습니다.

OpenAI 연구원들은 2019년 논문에서 "챗봇의 기능이 허위 정보 캠페인 비용을 낮추고 금전적 이득, 특정 정치적 의제 및/또는 또는 혼돈이나 혼란을 일으키려는 욕구입니다."

2020년 미들베리 국제학연구소(Middlebury Institute of International Studies)의 테러, 극단주의 및 대테러 센터 연구원들은 ChatGPT의 기본 기술인 GPT-3가 "극단주의 공동체에 대해 놀라울 정도로 깊은 지식"을 갖고 있으며 세계에서 논쟁을 불러일으킬 수 있다는 사실을 발견했습니다. 대량 총격 사건 스타일, 나치즘을 논의하는 가짜 포럼 스레드, QAnon 방어, 심지어 다국어 극단주의 텍스트까지.

OpenAI 대변인은 ChatGPT에 공급되고 생산되는 콘텐츠를 모니터링하기 위해 기계와 인간을 사용한다고 말했습니다. 이 회사는 인간 AI 트레이너와 사용자의 피드백을 모두 활용하여 유해한 훈련 데이터를 식별하고 필터링하는 동시에 ChatGPT가 더 나은 정보에 입각한 응답을 생성하도록 교육합니다.

OpenAI의 정책은 부정직을 조장하거나, 사용자를 속이거나 조작하거나, 정치에 영향을 미치려는 시도를 위해 해당 기술을 사용하는 것을 금지합니다. 회사는 증오, 자해, 폭력 또는 성행위를 조장하는 콘텐츠를 처리할 수 있는 무료 중재 도구를 제공합니다. 그러나 현재 이 도구는 영어 이외의 언어에 대해 제한적인 지원을 제공하며 정치적 자료, 스팸, 사기 또는 악성 코드를 식별하지 않습니다. ChatGPT는 "가끔 유해한 지침이나 편향된 콘텐츠를 생성할 수 있다"고 사용자에게 경고합니다.