Counter-Strike: Global Offensive: KI-Moderator sperrt 20.000 Spieler aufgrund "giftiger" Chat-Beiträge

Counter-Strike: Global Offensive
26.10.2019 20:18, Jan Wöbbeking

Counter-Strike: Global Offensive: KI-Moderator sperrt 20.000 Spieler aufgrund "giftiger" Chat-Beiträge

20.000 Sperrungen und 90.000 Verwarnungen aufgrund toxischer Chat-Beiträge - so lautet das Fazit einer KI, welche den Chat im Shooter Counter-Strike: Global Offensive analysiert. Diese Zahlen gab es laut PCGamer.com in den ersten sechs Wochen (seit Ende August) zu melden. Ganze 7 Mio. Nachrichten wurden als "giftig" eingestuft.
Die Hersteller des Spiels, Valve Software und Hidden Path Entertainment, haben demnach die KI "Minerva" der Online-Spiele-Plattform FACEIT eingesetzt. Das Unternehmen hat auch die 2018er-Veranstaltung "CS:GO London Major" veranstaltet, in Zusammenarbeit mit Google Cloud und Googles Gründerzentrum Jigsaw.

Nebenbei wurde die durch Machine-Learning herangezüchtete Künstliche Intelligenz auch damit beauftragt, Spam-Nachrichten zu markieren. Nach einem abgeschlossenen Match trudelten die Verwarnungen ein; bei mehrmaligen Verstößen seien die Sanktion entsprechend stärker ausgefallen.

Als Ergebnis wird zudem vermeldet, dass die Zahl toxischer Nachrichten in dem genannten Zeitraum um 20% gesunken sei - und die der Nutzer, die entsprechend harsch posteten, um 8%. Der Testlauf sei erst nach Monaten des Feintunings gestartet worden, um zuvor falsche Meldungen zu minimieren. Die Schöpfer der KI scheinen dem offiziellen Blog nach noch viel mit ihr vorzuhaben:

"Die Spiel-Chat-Erkennung ist erst die erste und allersimpelste Anwendung, zu der Minerva fähig ist - und eigentlich eher eine Feldstudie, welche als erster Schritt für unsere Vision für diese KI dienen soll. Wir sind wirklich begeistert von dieser Grundlage, da sie eine starke Basis dafür schafft, die uns erlaubt, Miverva zu verbessern, bis wir schließlich jegliche Arten missbräuchlichen Verhaltens in Echtzeit erkennen und angehen können. Innerhalb der kommenden Wochen werden wir neue Systeme ankündigen, die Minerva bei ihrem Training unterstützen werden."

Your browser doesn't support HTML5 video.

Video: ESL One Cologne 2015: Official Aftermovie

Kommentare
Skabus

Was natürlich stimmt ist, dass solche Algorithmen mit Ironie und Sarkasmus Schwierigkeiten haben. Darum wäre ich ja auch nicht dafür, solche Algorithmen einfach komplett autark arbeiten zu lassen.

Was z.B. möglich ist und auch schon so gemacht wird, ist Wahrscheinlichkeiten zu berechnen, also sagen wir mal, wir haben 3 Aussagen und die haben eine Wahrscheinlichkeit von 40%, 70% und 99%, dass sie toxische Nachrichten sind. Dann wird dem Mitarbeiter, der solche Meldungen verarbeitet nur diese Meldungen vorgelegt. Und dann derjenige nochmal schauen: "Aha, die Meldung mit 40% ist falsch", wird also nicht bestraft. Das alleine hätte schon einen gigantischen Vorteil, weil die menschlichen Mitarbeiter so massiv entlastet werden.

MfG Ska

vor 4 Jahren
Kajetan

Ihr wollt mir erzählen, dass das Programm auch ein ironisches "Fuck me, I'm stupid, my bad", was den gegenüber beleidigen soll erkennen kann?
Ich weiß nicht, was das Programm im Einzelnen kann. Aber es ist kein simpler Filter, der einfach nur nach Wortgleichheiten sucht. Denn dafür braucht man kein "Machine Learning". Das braucht man, um zusätzlich Kontext erkennen zu können. Wie gut das Programm darin ist Kontext erkennen zu können, weiß ich auch nicht, aber weil es Kontext erkennen soll, ist es mehr als ein simpler Filter. Ob man dieses Programm dann KI oder Programm zur Erkennung "giftiger" Aussagen nennt, spielt letztendlich keine Rolle, ist nur eine Frage des Marketings

Was simple Filter tun, hat ja Facebook beim Einsatz von Filtern erfahren, als plötzlich alle "Breast-Feeding"-Gruppen und entsprechenden Inhalte gesperrt wurden, weil der Filter nur stur auf die Zeichenfolge "Breast" reagiert hat. Das will man vermeiden. Deswegen Kontext-Erkennung. Um False Positives wie in Deinem Beispiel zu erkennen und eben NICHT zu melden. Steht ja auch in der Original-Meldung, dass man den Algorithmus zuerst "trainiert" hat, um besser Kontext zu erkennen.

vor 4 Jahren
Skabus

Um das noch etwas auszuführen:

Eine "echte KI"(eigentlich "strong AI/starke KI") wäre kein Algorithmus, der eine EINZIGE Aufgabe leisten kann, sondern wäre ein System das den kompletten menschlichen Geist nachahmen würde. Somit also alles simulieren würde, was ein Menschen geistig leistet. Salopp gesagt wäre es also eine künstliche Version eines menschlichen Geistes und wäre zu den selben geistigen Leistungen fähig wie ein Mensch, wenn nicht sogar noch mehr.

=> Aber sotwas gibt es (noch) nicht. Es ist auch fraglich ob es soetwas jemals geben wird darüber streiten sich die Wissenschaftler noch.

Worüber wir reden sind sog. "weak Ai"-Algorithmen. Algorithmen die EINE EINZIGE Aufgabe leisten können, dabei aber Konzepte verwenden, die den menschlichen Geist IN TEILEN nachahmen. Besonders bekannt und populär sind ja "künstliche neuronale Netze", diese sind ultra-primitiv im Vergleich zum menschlichen Gehirn. Zum Vergleich: Der Mensch hat ca. 90 Millarden Neuronen im Gehirn und diese sind massiv verbunden. Soetwas können wir mit heutiger Technik nicht mal ansatzweise nachahmen. Zwar können wir neuronale Netze mit einer ähnlich großen Anzahl von Neuronen erstellen, aber operabel sind diese meisten nicht. Einfach weil die Rechenleistung fehlt. Darum bewegen sich komplexe "künstliche neuronale Netze", die man auch praktisch eingesetzt, so zwischen ein paar hundert tausend und ein paar millionen Neuronen. Um so ein neuronales Netz zu trainieren braucht man meistens zu Beginn große Datenmengen. Das wäre bei Online-Games kein Problem. Da hätte man mehr als genug. Diese Datenmengen müsste man, bevor man den Lernalgorithmus anschmeißt, vorbereiten. Diese Datenvorbereitungen(auch Datenaufarbeitung, Data Preperation) ist der wichtigste Schritt, wenn man diesen falsch macht oder die Vorbereitung ungünstig für das gegebene Problem ist, dann wird der Algoirthmus scheitern. So eine Vorbereitung kann wie folgt aussehen:

"Fuck me, I'm stupid, my bad" -> deklariert als "keine Beleidigung"

"get a defuser, you faggot" -> deklariert als "Bleidigung"

"no, i dont say that you are an idiot, sorry if it sounds like that" -> deklariert als "keine Beleidigung"

"fuck off, nigga" -> deklariert als "Bleidigung"

Hier hab ich mal exemplarisch 4 Beispiele rausgenommen, wie so eine ganz einfache Datenaufarbeitung aussehen könnte. Normalerweise hätte man hier Datenbeispiele im Bereich 100.000 bis 1.000.000. EInfach gesagt kann man sagen, je mehr Daten desdo besser, auch wenn das nicht immer stimmt. Nun muss im nächsten Schritt diese Daten in ein lesbares Format umgewandelt werden. Der Algorithmus kann nichts mit menschlicher Sprache anfangen, also muss man sich überlegen, wie man diesen Text umwandelt. Früher hat man dafür eine Funktion namens "word2Vec", also "Wort zu Vektor" verwendet. Macht man heute immernoch, ist aber schon wieder leicht veraltet. Google hat da z.B. bessere Verfahrensweisen gefunden. Aber der EInfachheit halber sagen wir mal, wir nutzen word2Vec um all unsere Daten in Vektoren umzuwandeln:


"6542 837 523 92147 61 775"

"123 8 72392650 908 915279"

"677 4 2234 715 9123 45 435 34 5433, 34554 33 43 423567 3456 3567"

"6542 8572 8896"

Weiterhin bleibt der Zusammenhang erhalten, welcher dieser Vektoren als Beleidigung klasifiziert werden soll und welcher nicht. Nun teilt man die Datenmenge in "Trainingsdaten" und "Testdaten". Wie der Name sagt, wird mit den Trainingsdaten das neuronale Netz trainiert. Mit den "Testdaten" wird dann nach dem Training überprüft, wie gut der Alogorithmus arbeitet. Wenn er viele Sachen falsch klassifiziert, dann ist hat der Alogorithmus schlecht gelernt, die Daten waren unpassend, oder oder oder. Es ist dann Aufgabe des "Data Scientist" rauszufinden, woran das liegt. Hat der Algorithmus gute Ergebnisse geliefert, hat man einen ersten Hinweis auf einen gut funktionierenden Algorithmus. Danach muss man natürlich schauen wie dies mit komplett unbekannten Daten funktioniert.

Der Trick ist also der, dass nicht der Algorithmus "versteht" welche Aussagen als Beleidigung gelten, sondern das legt der Mensch fest, der die Daten aufbereitet. Der Algorithmus lernt einzig und allein, die vom Mensch vorgegebene Datenmenge richtig zu klasifizieren.

Nun ist der Witz, dass neuronale Netze schon ziemlich alt sind. Bereits 1943 gabs Wissenschaftler die daran arbeiteten. Aber KNNs haben in den letzten Jahren ein "Comeback" erlebt(auch wenn sie nie wirklich "weg" waren) durch 2 Faktoren: Bessere Rechnerleistung und bessere Algorithmen. Heuzutage gibt es Verfahrensweisen wie etwa "Deep Learning" welchs so gut funktioniert, dass man jetzt bei dem Punkt angelangt ist, dass man sagen kann: Der Algorithmus kann bis zu 99% Genauigkeit erreichen. Manchmal sogar mehr. Das liegt u.A. daran, dass "Deep Learning" in der Lage ist hirachische Abhängkeiten zu erkennen. Das heißt, es wäre z.B. sogar möglich Chat-Verläufe zu lernen um eben nicht nur einen Satz zu klassifizieren sondern sogar längere Chat-Verläufe die für sich gesehen vllt. nicht beleidigend sind, aber durch die Penetranz(z.B. den Chat immer mit dem selben Satz vollspammen).

Aber um das nochmal deutlich zu machen: Darum habe ich auch wenig Bedenken, was den Einsatz solcher Algorithmen angeht. Diese Algorithmen tuen letzendlich nur das, was ein Mensch ihnen vorgibt. In ihnen steckt keine "eigene Intelligenz" sondern nur die menschliche Intelligenz, welche der Algorithmus "nachahmt". Solange wir also Alogorithmen nicht zu 100% die Entscheidungsgewalt überlassen, können sie als nützliches Werkzeug gut gebrauchen und einsetzen.


So, ich hoffe ich hab das alles halbwegs verständlich erklärt. Ansonsten gerne nachfragen


MfG Ska

vor 4 Jahren
Sindri

Ihr wollt mir erzählen, dass das Programm auch ein ironisches "Fuck me, I'm stupid, my bad", was den gegenüber beleidigen soll erkennen kann?

vor 4 Jahren
Kajetan

...
Du redest die ganze Zeit von simplen Filtern. Nicht von Programmen, die in der Lage sind Kontext zu erkennen, was ja das Ziel in diesem Falle ist. Offensichtliche Beleidigungen von solchen Beispielen trennen zu können, wie Du sie angeführst. Skabus hat schon recht ... entweder weisst Du tatsächlich nicht, wovon Du hier sprichst oder Du trollst & provozierst ganz bewusst.

vor 4 Jahren