AI bewertet Websites, indem es reale Personen imitiert und diese sogar übertrifft. Wie wird es gemacht?

Heute geht eine der Komponenten von uKit AI, einem intelligenten System zur Neugestaltung von Websites, an die Börse. Es ist ein Prototyp-Modul zur Bewertung der Schönheit von Webseiten. Es kombiniert ein neuronales Netzwerk und Entscheidungsbäume, um die Reaktion eines normalen Besuchers auf das Design der Website zu imitieren.

In einem solchen Modul wird künftig die Arbeit des generativen Entwurfsalgorithmus, dem Schlüsselelement von uKit AI, bewertet, der Seiten ohne menschliches Zutun auf der Grundlage der verfügbaren Inhalte und des „Wissens“ über den Unterschied zwischen einer nicht wirksamen Website und erstellt derjenige, der darauf abzielte, die Conversion-Rate zu erhöhen.

Die aktuelle Version von WebScore AI gibt die Ansicht eines durchschnittlichen Internetnutzers über das Erscheinungsbild der Website wieder. Obwohl wir andere Optionen erstellen können, ist es beispielsweise möglich, die Benutzerfreundlichkeit einer Website zu bewerten.

Zur Schulung des Systems verwendete Websites. Zunächst haben wir 12.000 Websites und Online-Shops gesammelt, die in verschiedenen Jahren auf verschiedenen Plattformen und in verschiedenen Sprachen erstellt wurden. Die Hauptaufgabe bestand darin, genügend Beispiele für visuelle Abstufungen zu finden, von ziemlich schlechten Websites bis zu sehr guten. Auf diese Weise haben wir dem System gezeigt, was im modernen Web alles möglich ist.

Ein paar Webseiten aus dem Trainingsbeispiel.

Jede Abstufung wird mit einer Skala gemessen, und diese Skala sollte von einer gewöhnlichen Person verstanden werden, deren Meinung wir zu modellieren versuchen. Aus diesem Grund haben wir eine Idee der Skala „von 1 bis 10“ entwickelt, die in unserem Service verwendet wird.

Menschen, die von WebScore AI imitiert werden. Wir brauchten zwei Dinge, um einen Datensatz (einen Datensatz für ein Trainingsmodell) von einer Vielzahl von Websites zu erstellen:

  • die Zeichen, anhand derer das System bestimmt, ob die Website attraktiv ist;
  • die Bewertungen (Noten), die mit Hilfe unserer Skala für eine bestimmte Anzahl von Websites vorgenommen wurden. Sie werden zum Vorbild für das System.

Jemand sollte diese ersten Bewertungen setzen. Solch ein "Lehrer" oder eine Gruppe von "Lehrern", um genau zu sein, wird sich stark auf die Funktionsweise des Modells auswirken.

Bewertungsschnittstelle für Websites: Nehmen Sie und verwenden Sie von unserem GitHub bald.

Um eine Fokusgruppe zusammenzustellen, haben wir eine Vorauswahl von Kandidaten anhand von 1500 Website-Beispielen durchgeführt. Eine Routinearbeit, aber verantwortungsbewusst und mit großem Fokus. Die Vorauswahl hat uns geholfen, ungeeignete Kandidaten zu eliminieren und auch die „umstrittenen“ Websites (wenn jemand sie mit 1 und die andere mit 10 bewertet) aus der Stichprobe auszuschließen.

Zunächst experimentierten wir mit Bewertungsmethoden.

Wir haben beispielsweise angeboten, jeweils eine Website und dann zwei Websites gleichzeitig zu evaluieren oder eine von zwei Websites auszuwählen, die am attraktivsten ist. Der Ansatz, bei dem der Befragte eine einzige Website gesehen und bewertet hat, hat am besten funktioniert. Wir haben damit 10.000 der verbleibenden Websites bewertet.

Eine Person bewertete, ob eine Website schön ist oder nicht. Wie wird die Maschine das machen? Sie und ich brauchen nur einen Blick, um eine Meinung über die gesamte Schönheit von etwas zu bilden. Aber wir wissen, dass der Teufel im Detail steckt.

Die visuellen Attraktivitätszeichen der Website, die das Modell leiten, sind ein Schlüsselmoment für das gesamte Projekt. Wir haben das uKit Website Builder-Designteam um Hilfe gebeten. Ihre Arbeit wird als Grundlage für Hunderttausende von Websites verwendet, und Millionen von Menschen sehen sie. Gemeinsam haben wir eine erweiterte Liste von Funktionen zusammengestellt, auf die Profis bei der Entwicklung eines Website-Designs achten. Und versuchte es dann zu schneiden, wobei nur die wichtigsten übrig blieben.

uKit.com Designteam.

Als Ergebnis erhielten wir eine Checkliste mit 125 recht unterschiedlichen, jedoch signifikanten Kriterien, die in fünfzehn Kategorien eingeteilt waren. Die Liste enthält beispielsweise: Anpassung an gängige Bildschirme, verschiedene Schriftgrößen, Farbreinheit, Länge der Überschriften, Anteil der Bilder auf der gesamten Seite usw. Sie müssen das Modell nur noch anhand dieser Regeln trainieren.

Erstellen Sie einen Algorithmus. Was genau ist ein Unterrichtsmodell? Hierbei handelt es sich um die Erstellung eines Algorithmus, der auf einem bestimmten Satz von Merkmalen basiert und die ausgewählte Website auswerten kann. Es ist wünschenswert, dass die Bewertung des Systems und die Bewertung des durchschnittlichen Lehrers eine minimale Lücke in ihren endgültigen Bewertungen aufweisen.

Wir haben uns für die Gradientenverstärkungsmethode gegenüber den Entscheidungsbäumen entschieden, da dies einer der beliebtesten und effektivsten Ansätze ist. Unter Verwendung grundlegender Algorithmen wird eine Menge erstellt, deren Gesamtergebnis die Ergebnisse eines separaten Algorithmus übersteigt.

Durch Hinzufügen jedes nachfolgenden Basisalgorithmus wird außerdem versucht, die Qualität der Antworten des gesamten Satzes zu verbessern.

Um den Prozess zu beschleunigen und zu vereinfachen, haben wir die CatBoost-Bibliothek von Yandex verwendet, die es ermöglicht, einen Booster auf Gradientenbasis in sogenannten „vergesslichen Entscheidungsbäumen“ zu erstellen, die von Anfang an gute Trainingsfähigkeiten eines Modells gewährleisten und einen schnellen Übergang zur Bereitstellung von Vorhersagen (Schätzungen) ermöglichen ) für neue Objekte.

Hinzufügen eines neuronalen Netzwerks. Als der grundlegende Algorithmus fertig war, beschlossen wir, ein Experiment durchzuführen: Werden sich die Ergebnisse verbessern, wenn wir ein neuronales Netzwerk hinzufügen? Eigentlich wussten wir bereits, wie man eine Website und ihr Design „ansieht“, und nun beschlossen wir, dem System eine Art „Lupe“ zu geben, mit der es noch mehr Details enthüllen kann.

Wir haben eines der beliebtesten Netzwerke ausgewählt, resnet50, das als guter Algorithmus zum Extrahieren von Features auf hoher Ebene bekannt ist. Außerdem haben wir gelernt, wie Sie 1000 zusätzliche Attribute für die Website-Evaluierung erhalten. Infolgedessen charakterisiert das System eine URL nun anhand der insgesamt 1125 Features und findet den Platz der Website auf einer 10-Punkte-Skala. Der Vorgang dauert mehrere Dutzend Sekunden. Aus diesem Grund sollten Sie das Modell beschleunigen, indem Sie die Anzahl der Zeichen verringern und gleichzeitig die Qualität der Auswertung auf dem gleichen Niveau halten.

Erste Ergebnisse. Das auf diese Weise trainierte Modell könnte im Vergleich zu den einzelnen „Lehrern“ dreimal genauere Schätzungen vornehmen.

Wir können sagen, dass das Modell seine ersten Lehrer übertroffen hat, da die Fokusgruppenschätzungen stärker vom Durchschnitt abweichen als die Schätzung des neuronalen Netzes. Nun stellen wir den Algorithmus zur weiteren Schulung ins Netzwerk. Und Sie können auch sein Lehrer werden.