TikTokは2021年にアルゴリズムを更新し、有害なコンテンツへの曝露を防ぐための保護機能を開発したが、ユーザーのエンゲージメントを測定するために1500万人のユーザーからこの機能を秘密裏に外していたことが明らかになった。この実験のコントロールグループに入っていた16歳のChase Nascaのアカウントには、保護機能が無効化されたために何千もの自殺や自傷行為の動画が表示され、その後自殺に至ったことが判明した。
TikTokの内部報告書によると、この実験の目的は日次アクティブユーザー数に影響を与える形で保護機能の効果を測定することだった。同社はこの実験がユーザーの安全性とエンゲージメントのバランスを取るために行われたと主張している。
同社はユーザーの安全性を最優先とし、安全性への投資を継続すると発表した。しかし、この事件はテクノロジー企業がユーザーの安全性と商業的目標のバランスをどう取るかについての議論を再び引き起こした。
