Каким образом технологическая индустрия будет вынуждена бороться с токсичностью в Интернете и надругательствами над детьми

Когда дело доходит до борьбы онлайн токсичность и сексуальное насилие над детьми, большинство компаний говорят, что они поддерживают. Но соблюдение законов может стать хитрым.

Предлагаемое федеральное законодательство, получившее название EARN IT Act (сокращенно от «Устранение злоупотреблений и безудержного пренебрежения интерактивными технологиями»), создает стимулы для компаний «зарабатывать» свою защиту ответственности в соответствии с законами, которые действуют на их платформе, особенно в отношении сексуального насилия над детьми в Интернете. , Гражданские либертарианцы осудили это как способ обойти шифрование и попытку сканирования всех сообщений.

В случае его принятия двухпартийное законодательство может заставить компании реагировать, сказал Карлос Фигейредо, директор по вопросам доверия и безопасности сообщества в Two Hat SecurityВ интервью VentureBeat. Законодательство сделало бы исключительный шаг по снятию правовой защиты с технологических компаний, которые не контролируют незаконный контент. Это понизит планку для предъявления иска технологическим компаниям.

От компаний может потребоваться найти нелегальный материал на своих платформах, классифицировать его и проверить возраст пользователей. Их практика должна быть одобрена Министерством юстиции и другими агентствами, а также Конгрессом и президентом.

Two Has Security использует платформу для модерации контента на базе AI, которая классифицирует или фильтрует взаимодействие с людьми в режиме реального времени, что позволяет определять онлайн-киберзапугивание и другие проблемы. Это относится к игровому чату, который используется большинством онлайн-игр. 57% молодых людей говорят, что они испытывали издевательства в Интернете, играя в игры, и 22% заявили, что в результате они перестали играть.

Two Hat расскажет об интернет-токсичности на нашем сайте. GamesBeat Summit Digital событие 28-29 апреля. Вот отредактированная стенограмма нашего интервью с Фигейредо.

Вверху: Карлос Фигейредо — директор сообщества доверия и безопасности в Two Hat.

Изображение предоставлено: Two Hat

GamesBeat: Закон о заработке не был действительно на моем радаре. Это существенное законодательство? Что за история стоит за этим?

Карлос Фигейредо: Имеет двухпартийную поддержку. Впрочем, от некоторых компаний уже есть откат. Наверняка, от большой технологии есть большой отпор.

У этого есть два аспекта прямо сейчас. Одним из них является Закон о заработной плате, а другой разрабатывает добровольный набор стандартов, которые могут принять компании. Добровольные стандарты являются продуктивным аспектом. Здорово видеть такие компании, как Роблокс в этом разговоре. Facebook, Google, Microsoft, Roblox, Thorn — приятно видеть, что в этом конкретном разговоре, отдельной международной инициативе, представлены представители игровых компаний напрямую. Тот факт, что Roblox также работал с Microsoft и Thorn над Project Artemis, потрясающий. Это напрямую связано с этой темой. Теперь есть бесплатный инструмент, который позволяет компаниям искать уход в чате. Игровые компании могут активно использовать его в дополнение к таким технологиям, как Photo DNA от Microsoft. На международном уровне есть желание, чтобы все эти компании, правительства и промышленность сотрудничали друг с другом, чтобы сделать это.

В Законе «ЗАРАБАТЫВАТЬ ИТ» одна из самых важных статей — это закон 90-х годов, положение. Это говорит о том, что у компаний есть определенное исключение. Им не нужно обязательно иметь дело с пользовательским контентом. Они не несут ответственности за то, что их платформа — допустим, в этом смысле проход. Закон о заработной плате, законодательство предусматривает отраслевые стандарты, в том числе стимулы для компаний, которые их соблюдают, но он также предусматривает исключение из этого закона из 90-х годов. Компании должны иметь минимальные стандарты и нести ответственность. Вы можете себе представить, что есть откат к этому.

GamesBeat: напоминает мне о Закон COPPA (Закон о защите конфиденциальности детей в Интернете), Мы говорим о чем-то подобном здесь, или это совсем другое?

FIGUEIREDO: COPPA — прекрасный пример для обсуждения. Это напрямую повлияло на игры. Любой, кто хочет иметь игру для игроков до 13 лет в США, должен защищать личную информацию этих игроков. Конечно, это имеет значение, когда дело доходит до чата. Я работал в клубе Пингвин в течение шести лет. Конечно, Club Penguin был совместим с COPPA. У него была очень молодая пользовательская база. Когда вы соответствуете COPPA на этом уровне, вам нужно фильтровать. Вы должны иметь активные подходы.

Есть сходство. Из-за COPPA компании должны были заботиться о частной информации от детей, и они также должны были удостовериться, что дети, по их собственной невинности, непреднамеренно не делятся информацией. Говоря о защите детей, это уместно. Закон может принести компании упреждающую фильтрацию изображений. Это одно из возможных последствий. Если я знаю, что на моей платформе есть детская эксплуатация, я должен что-то сделать. Но этого недостаточно. Я думаю, что мы должны выйти за рамки знаний об этом. Мы должны быть активными, чтобы убедиться, что это не происходит на наших платформах. В следующем году или около того мы могли бы взглянуть на ситуацию, когда тщательное изучение игровых компаний проактивных фильтров для ухода за собой, фильтрации изображений означает, что это станет реальностью.

Вверху: Панель по безопасности в дизайне. Карлос Фигейредо — второй справа.

Изображение предоставлено: Two Hat

GamesBeat: Как это важно для бизнеса Two Hat?

FIGUEIREDO: Из-за самой ДНК компании — многие из нас пришли из детского пространства, игр для детей. Мы давно работаем в этой области, и мы глубоко обеспокоены безопасностью детей в Интернете. Мы вышли за рамки детей, защищая подростков, защищая взрослых. Убедиться, что люди свободны от злоупотреблений в Интернете, является ключевым компонентом нашей компании.

У нас есть наш основной инструмент, который используется многими ведущими игровыми компаниями по всему миру для проактивных фильтров ненавистнических высказываний, преследований и других типов поведения. Некоторые из них также работают для обнаружения ухода, чтобы убедиться, что вы знаете, если кто-то пытается ухаживать за ребенком. Непосредственно в связи с этим растет понимание важности того, что люди знают, что для решения этой проблемы есть технологии. Уже есть лучшие практики. Нет необходимости изобретать велосипед. Уже есть много отличных процессов и технологий. Другой стороной компании было наше партнерство, которое мы создали с RCMP здесь, в Канаде. Мы работаем вместе над упреждающей фильтрацией изображений жестокого обращения с детьми. Мы можем найти изображения, которые еще не были вырезаны, которые не стали хэшем в Photo DNA.

Следовательно, для нас это означает, что это помогает нам реализовать наше истинное видение. Наше видение заключается в том, чтобы у компаний были технологии и подходы для выхода в интернет, где люди могут свободно выражать свои мысли без оскорблений и преследований. Это ключевая цель, которая у нас есть. Кажется, что идея совместной ответственности становится все сильнее. Это общая ответственность в отрасли. Я, конечно, все о промышленном сотрудничестве. Я твердо верю в такие подходы, как альянс «Честная игра», где игровые компании собираются вместе и отбрасывают любой тон конкуренции, потому что они думают о том, чтобы способствовать удивительным игровым взаимодействиям без преследований и ненавистнических высказываний. Я верю в эту общую ответственность в отрасли.

Даже вне общей ответственности — сотрудничество между правительством и промышленностью, игроками и научными кругами. На ваш вопрос о последствиях для Two Hat и нашего бизнеса, это действительно культурные изменения. Это больше, чем одна шляпа. Мы оказались в центральной позиции, потому что у нас есть замечательные клиенты и партнеры по всему миру. У нас привилегированное положение работы с великими людьми. Но это больше, чем мы, больше, чем одно игровое сообщество или платформа.

GamesBeat: Есть ли что-то в отрасли, чтобы справиться с Законом EARN IT? Что-то вроде альянса Fair Play? Или это будет какое-то другое тело?

FIGUEIREDO: Я знаю, что во всем мире уже есть рабочие группы. Правительства предпринимают инициативы. Чтобы привести пару примеров, я знаю, что в Великобритании, из-за команды, ответственной за их предстоящее законодательство о вреде онлайн, правительство провело много разговоров и собрало индустрию для обсуждения тем. Есть активные группы, которые собираются так часто, чтобы поговорить о защите детей. Сейчас это более закрытые рабочие группы, но игровая индустрия вовлечена в разговор.

Другим примером является команда по электронной безопасности в Австралии. Австралия — единственная страна, в которой есть комиссар по электронной безопасности. Это целая комиссия внутри правительства, которая заботится о безопасности онлайн. Я имел честь выступить там в прошлом году на их конференции по электронной безопасности. Они настаивают на проекте под названием Safety By Design. Они проконсультировались с игровыми компаниями, социальными приложениями и всеми видами компаний по всему миру, чтобы выработать базовые рекомендации. Минимальные стандарты — мы думаем, что Safety By Design была бы идеей наличия проактивных фильтров, наличия хороших систем отчетности и использования всех этих методов в качестве основы.

Конечно, Fair Play Alliance является отличным примером в игровой индустрии компаний, работающих вместе по нескольким темам. Мы заинтересованы в том, чтобы положительные взаимодействия с игроками и их снижение, смягчение негативного поведения, разрушительное поведение. Есть все виды разрушительного поведения, и у нас есть все виды членов в Альянсе Fair Play. Многие из этих участников — игры, предназначенные для детей. Многие люди с большим опытом в этой области могут поделиться лучшими практиками, связанными с защитой детей.

Вверху: Карлос Фигейредо выступает на Rovio Con.

Изображение предоставлено: Two Hat

GamesBeat: Насколько это технологическая проблема? Как вы пытаетесь создать это для людей в этом контексте?

FIGUEIREDO: С точки зрения технологии, если мы говорим об изображениях — для многих игровых компаний это могут быть изображения на их форумах, например, или, возможно, у них есть обмен изображениями даже в игре, если у них есть изображения аватаров или тому подобное , Проблема изображений крайне важна, потому что объем онлайн-изображений жестокого обращения с детьми невероятен.

Самая большая проблема заключается в том, как определить новые изображения по мере их создания. Уже существует Photo DNA от Microsoft, которая создает эти цифровые идентификаторы, хэши для изображений, которые являются известными изображениями жестокого обращения с детьми. Допустим, у нас есть игра, и мы используем Photo DNA. Как только кто-то начинает загружать известное изображение в качестве своего аватара или делиться им на форуме, мы можем определить, что это известный хеш. Мы можем заблокировать изображение и сообщить в правоохранительные органы. Но проблема в том, как определить новые изображения, которые еще не были каталогизированы. Вы можете представить себе нагрузку на игровую компанию. Команда подвергается воздействию такого рода материалов, поэтому в ней есть смысл для здоровья и устойчивости.

Это технологическая проблема, потому что идентифицировать эти изображения в масштабе очень сложно. Вы не можете полагаться только на людей, потому что это невозможно масштабировать. Благополучие людей просто разрушается, когда вам приходится просматривать эти изображения изо дня в день. Именно тогда вам нужна технология, подобная той, что есть у Two Hat с нашим продуктом под названием Cease, — это машинное обучение для выявления новых образов жестокого обращения с детьми. Это технологическая проблема.

Если мы продолжим потоковую трансляцию, которая, очевидно, огромна в игровой индустрии, это еще одна проблема с точки зрения технологических ограничений. Трудно обнаружить материалы о жестоком обращении с детьми в прямом эфире. В этой области уже ведется работа. У Two Hat есть партнер, с которым мы работаем, чтобы обнаруживать этот тип контента в видео и прямых трансляциях. Но это на переднем крае. Это разрабатывается прямо сейчас. Трудно решить эту проблему. Это одна из самых сложных проблем, когда вы ставите это рядом с аудио-обнаружением злоупотреблений.

Третья область, на которую я хочу обратить внимание, — это уход за текстом. Это сложно, потому что дело не в поведении, которое вы можете просто запечатлеть за один день. Это не значит, что кто-то преследует кого-то в игре. Обычно вы можете определить это в одном случае, в одной игровой сессии или в нескольких случаях. Уход происходит в течение недель, а иногда и месяцев. Это преступник, укрепляющий доверие с ребенком, нормализующий отношения между взрослым и ребенком, дающий подарки, понимающий психологию ребенка. Это технологически сложная задача.

Уже есть отличные инструменты. Мы упомянули пару здесь, в том числе Project Artemis, который является новым проспектом. Конечно, у вас есть Community Sift, наш продукт от Two Hat. Есть люди, которые делают потрясающую работу в этой области. Торн, Microsoft и Роблокс работали над этим. Есть новые, захватывающие инициативы на переднем крае. Но есть много проблем. Наш опыт работы с глобальными клиентами позволяет нам обрабатывать более миллиарда единиц контента каждый день здесь, в Two Hat, и многие из наших клиентов работают в игровой индустрии. Проблема масштаба и сложности поведения всегда подталкивает нашу технологию.

Однако мы считаем, что это не может быть одна технология. Это должна быть комбинация правильных инструментов для правильных проблем и людей-модераторов, которые хорошо обучены, имеют соображения относительно их хорошего самочувствия и устойчивости, и которые знают, как выполнять целенаправленную модерацию и имеют хорошие руководящие принципы сообщества, которым нужно следовать.

Симпозиум по модерации контента в Two Hat

Вверху: симпозиум по модерации контента в Two Hat

Изображение предоставлено: Two Hat

GamesBeat: Кто-нибудь спрашивает вас о законе EARN IT? Какие у вас разговоры с клиентами в игровой индустрии?

FIGUEIREDO: У нас много разговоров, связанных с этим. У нас есть разговоры о том, что клиенты приходят к нам, потому что они должны соответствовать требованиям COPPA, к вашему предыдущему пункту, а затем они также должны быть уверены в базовом уровне безопасности для своих пользователей. Обычно это игры до 13 лет. Эти компании хотят убедиться, что у них есть темы для фильтрации, а также личная информация. Они хотят убедиться, что дети не делятся информацией с другими игроками. Им нужна проактивная фильтрация изображений и текста, в первую очередь, для живого чата в играх. Вот где мы видим самую большую потребность.

Еще один случай, который мы видим, у нас есть клиенты, которые имеют в основном успешные игровые платформы. У них очень большая аудитория, миллионы игроков. Они хотят перейти, например, к сценарию, соответствующему COPPA. Может быть, они хотят заниматься старением. Они хотят учесть тот факт, что у них есть молодые пользователи. Реальность такова, что мы знаем, что есть игры, в которых нет преднамеренного столкновения с игроками младше 13 лет, но дети будут пытаться играть во все, что у них есть. Мы также, похоже, приближаемся ко времени, и у меня было много разговоров об этом в прошлом году, когда компании больше осознавали, что им нужно что-то делать с возрастом. Им нужно определить возраст своих пользователей и разработать продукты, которые рассчитаны на молодую аудиторию.

Этот дизайн должен учитывать конфиденциальность и безопасность молодых пользователей. Есть замечательные компании, которые делают сегментацию своей аудитории. Они могут понять, что пользователю меньше 13 лет, и они разговаривают с пользователем старше 13 лет. Они могут применять различные настройки в зависимости от ситуации, поэтому они все еще могут соблюдать COPPA. Пользователь моложе 13 лет не может делиться определенной информацией. Их информация защищена.

У меня много таких разговоров на ежедневной основе, консультации с игровыми компаниями, как в рамках Two Hat, так и в рамках Fair Play Alliance. С точки зрения Two Hat, я делаю аудит сообщества. Это касается самых разных клиентов — социальных платформ, туристических приложений, игровых компаний. Я верю в одно, и я не думаю, что мы достаточно об этом говорим в игровой индустрии, это то, что мы, как игровые компании, тщательно изучили негативное поведение наших платформ, но мы первыми в Интернете безопасность также.

Если вы вернетесь в «Клуб пингвинов» в 2008 году, то, конечно же, в то время было много ММО, множество ММО, вплоть до Ultima Online в конце 90-х годов. Эти компании уже проводили некоторые уровни упреждающей фильтрации и модерации, прежде чем социальные сети стали такими, какими они являются сейчас, до того, как у нас появились эти гигантские компании. Это один из элементов, который я пытаюсь представить в своих аудитах сообщества. Я вижу, что игровые компании обычно имеют базовые правила безопасности. У нас есть много примеров того, как игровые компании лидируют в сфере онлайн-безопасности, поведения и динамики игроков. Недавно у вас было интервью с Riot Games по всей дисциплине динамики игроков. Они создают совершенно новую терминологию и область дизайна. Они вложили в это столько инвестиций.

Я твердо верю, что игровым компаниям есть чем поделиться с другими типами онлайн-сообществ. Многие из нас сделали это хорошо. Я очень горжусь этим. Я всегда об этом говорю. Но, с другой стороны, я должен сказать, что некоторые люди приходят ко мне с просьбой провести аудит сообщества, и когда я делаю этот аудит, мы все еще далеки от некоторых лучших практик. Существуют игры, в которых, когда вы играете, если вы собираетесь сообщить о другом игроке, вы должны сделать снимок экрана и отправить электронное письмо. Это большое трение для игрока. Вы действительно собираетесь пойти на неприятности? Сколько игроков на самом деле собираются это сделать? И после того, что вы делаете, что происходит? Получаете ли вы электронное письмо, подтверждающее, что действие было предпринято, что то, что вы сделали, было полезно. Что замыкает петлю? Не так много игровых компаний делают это.

Мы продвигаемся вперед как индустрия и пытаемся выровнять людей, но даже просто имея надежную систему отчетности в вашей игре, чтобы вы могли выбрать причину — я сообщаю об этом игроке за разжигание ненависти или за нежелательные сексуальные улучшения. Действительно конкретные причины. Хотелось бы надеяться, что у нас также будут твердые руководящие принципы сообщества. Это еще одна вещь, о которой я говорю в своих консультациях. Я проконсультировался с игровыми компаниями о принципах сообщества, о том, как привести компанию в соответствие с набором строгих принципов сообщества. Не только определить поведение, которое вы хотите обескуражить, но и поведение, которое вы хотите поощрять.

Xbox сделал это. Microsoft сделала очень хорошо. Я могу думать о многих других компаниях, у которых есть удивительные принципы сообщества. Twitch, Mixer, Roblox. Кроме того, в более ориентированных на детей пространствах, такие как Animal Jam. Они хорошо справляются со своими принципами сообщества. Эти компании уже очень зрелые. Как я уже говорил, они много лет занимались безопасностью в Интернете. У них есть специальные команды. Обычно у них есть инструменты и фантастические команды людей. У них есть дисциплина доверия и безопасности в доме, что также важно.

Клиенты приходят к нам иногда без лучших практик. Они собираются запустить игру и, к сожалению, находятся на том этапе, когда им нужно что-то с этим сделать сейчас. И тогда, конечно, мы им помогаем. Это очень важно для нас. Но удивительно видеть, когда компании приходят к нам, потому что они уже делают что-то, но хотят добиться большего. Они хотят использовать лучшие инструменты. Они хотят быть более активными. Это также тот случай, когда, по вашему первоначальному вопросу, клиенты приходят к нам и хотят убедиться, что они применяют все лучшие практики, когда речь идет о защите сообщества детей младше 13 лет.

Melonie Mac использует инструменты создателя Facebook для управления подписчиками.

Вверху: Melonie Mac использует инструменты создателя Facebook для управления подписчиками.

Изображение предоставлено: Melonie Mac

GamesBeat: Есть ли у людей надежда, что закон снова может измениться? Или вы думаете, что это не реально?

FIGUEIREDO: С моей стороны это всего лишь догадка, но, глядя на глобальный ландшафт прямо сейчас, глядя на COPPA 2.0, глядя на закон EARN IT, конечно, я думаю, что это будет довольно быстро продвигаться нормальными нормами законодательства. Просто из-за того, насколько велика проблема в обществе. Я думаю, что это будет двигаться быстро.

Тем не менее, вот моя надежда. Я надеюсь, что индустрия, игровая индустрия, сможет сотрудничать. Мы можем работать вместе, чтобы продвигать лучшие практики. Тогда мы будем активными. Затем мы идем к правительству и говорим: «Мы слышим вас. Мы понимаем, что это важно. Вот перспектива отрасли. Мы занимаемся этим годами. Мы заботимся о безопасности наших игроков. У нас есть подходы, инструменты, лучшие практики, дисциплина, чтобы делать это в течение длительного времени. Мы хотим быть частью разговора ». Игровая индустрия должна активно участвовать в разговоре, показывая, что мы вложены в это, что мы идем пешком. Тогда у нас будет больше надежды на положительное влияние на законодательство.

Конечно, мы хотим снова использовать модель совместной ответственности — я знаю, что у правительства есть интересы там. Мне нравится тот факт, что они связаны с промышленностью. С Законом ЗАРАБОТАТЬ ИТ, они будут иметь — законопроект создаст комиссию из 90 человек. В состав комиссии войдут правоохранительные органы, индустрия технологий и дети-защитники. Важно, чтобы у нас было представительство в отрасли. Тот факт, что Роблокс разговаривал там с международной инициативой, направленной на добровольный подход, для меня это блестяще. Они явно лидируют.

Я думаю, что игровая индустрия преуспеет, будучи частью этого разговора. Это, вероятно, станет законодательством так или иначе. Это реальность. Когда дело доходит до создания лучшего законодательства для защиты детей, Two Hat полностью поддерживает это. Мы поддерживаем инициативы, которые будут лучше защищать детей. Но мы также хотим принять перспективу отрасли. Мы являемся частью отрасли. Наши клиенты и партнеры находятся в отрасли. Мы хотим убедиться, что законодательство учитывает то, что технически возможно при практическом применении законодательства, чтобы мы могли защищать детей в Интернете, а также защищать бизнес, гарантируя, что бизнес может продолжать работать, сохраняя при этом базовый уровень безопасности.



Источник: Каким образом технологическая индустрия будет вынуждена бороться с токсичностью в Интернете и надругательствами над детьми


Похожие материалы по теме: Каким образом технологическая индустрия будет вынуждена бороться с токсичностью в Интернете и надругательствами над детьми

Leave a comment