prudsys RDE jetzt mit Hierarchischem Reinforcement Learning

Bereits seit 2004 nutzt die prudsys AG Reinforcement Learning (RL) als zentrales Framework für seine Empfehlungstechnologie. Die Echtzeitanalyse-Lösung prudsys RDE | Recommendations ist damit Vorreiter einer neuen Generation von Empfehlungssystemen. Statt wie im klassischen Data Mining Empfehlungen zu unterbreiten, die die höchste Wahrscheinlichkeit besitzen vom Nutzer ohnehin ausgewählt zu werden, lernt RL unmittelbar aus der Interaktion mit dem Nutzer. Die prudsys RDE, insbesondere das Modul prudsys RDE | Recommendations, berücksichtigt bei der Berechnung ihrer Empfehlungen das Kundenverhalten in Echtzeit und optimiert somit fortwährend ihre eigene Empfehlungsqualität. Dadurch kann die prudsys Empfehlungslösungen in bisher ungekannter Qualität bereitstellen.

Um die Lerngeschwindigkeit des RL-Ansatzes weiter zu erhöhen, wurde seitens der prudsys AG in Zusammenarbeit mit der TU Berlin im nächsten Schritt der Ansatz der RL-Empfehlungstechnologie um die Nutzung von Hierarchien erweitert. Ausgangspunkt war die Tatsache, dass sich Content (z.B. Produkte) meist hierarchisch über Kategorien zusammenfassen lässt, die wiederum auf unterschiedlichen Aggregationsebenen definiert werden. Dies erlaubt die Anwendung hierarchischer Konvergenzbeschleuniger (sogenannter Vorkonditionierer) in den Lösungsverfahren der RL-Operatorgleichungen. Hierzu wurden die entsprechenden Multilevel-Techniken, welche in den letzten Jahren die Lösung partieller Differentialgleichungen revolutionierten, auf die RL-Methoden übertragen.

Im Ergebnis entstand ein komplettes Instrumentarium, um Zustände, Aktionen, Wertefunktionen und Operatorgleichungen zwischen verschiedenen Hierarchie-Levels zu interpolieren und zu prolongieren, hierarchische Regelbasen zu verwalten und daraus unterschiedliche Vorkonditionierer zusammenzufügen. All diese Bausteine sind auch in der prudsys XELOPES Bibliothek (www.xelopes.com) verfügbar.

Die neuen RL-Verfahren lernen durch den neuen technologischen Ansatz deutlich schneller sowie stabiler und können dank der Hierarchien selbst für Neuprodukte ohne Transaktionshistorie sofort qualifizierte Empfehlungen generieren. Die hierarchischen Regelbasen unterbreiten darüber hinaus in natürlicher Weise Empfehlungen auf Kategorieebene und die Qualität der Empfehlungen kann aggregiert analysiert werden.

„Die Nutzung hierarchischer Lösungsverfahren ist der natürliche nächste Schritt zur Weiterentwicklung leistungsfähiger Empfehlungssysteme. Wir freuen uns, unseren Kunden damit die neuesten Ergebnisse der Approximationstheorie bereitzustellen, welche dadurch vielfältig von der neuen Qualität der prudsys RDE profitieren.“, so Dr. Michael Thess, Vorstand FuE der prudsys AG.