Was ist verstärkendes Lernen?

Im Bereich der modernen künstlichen Intelligenz (KI) ist Reinforcement Learning (RL) eines der coolsten Forschungsthemen. Entwickler von KI und maschinellem Lernen (ML) konzentrieren sich ebenfalls auf RL-Praktiken, um intelligente Apps oder von ihnen entwickelte Tools zu improvisieren.

Maschinelles Lernen ist das Prinzip hinter allen KI-Produkten. Menschliche Entwickler verwenden verschiedene ML-Methoden, um ihre intelligenten Apps, Spiele usw. zu trainieren. ML ist ein sehr vielfältiges Gebiet, und verschiedene Entwicklungsteams verfügen über neuartige Methoden zum Trainieren einer Maschine. 

Eine dieser lukrativen ML-Methoden ist Deep Reinforcement Learning. Hier bestrafen Sie unerwünschtes Maschinenverhalten und belohnen gewünschte Aktionen der intelligenten Maschine. Experten sind der Ansicht, dass diese ML-Methode die KI zwangsläufig dazu bringen wird, aus ihren eigenen Erfahrungen zu lernen.

Continue reading this ultimate guide on reinforcement learning methods for intelligent apps and machines if you are considering a career in künstliche Intelligenz und maschinelles Lernen.       

Was ist Reinforcement Learning beim maschinellen Lernen?

RL is the teaching of machine learning models to computer programs. Then, the application can make a sequence of decisions based on the learning models. The software learns to reach a goal in a potentially complex and uncertain environment. In this kind of machine learning model, an AI faces a game-like scenario. 

Die KI-App nutzt Trial-and-Error, um eine kreative Lösung für das vorliegende Problem zu erfinden. Sobald die KI-App die richtigen ML-Modelle lernt, weist sie die von ihr gesteuerte Maschine an, einige Aufgaben zu erledigen, die der Programmierer wünscht. 

Based on the correct decision and task completion, the AI gets a reward. However, if the AI makes wrong choices, it faces penalties, like losing reward points. The ultimate goal for the AI application is to accumulate the maximum number of reward points to win the game.

Der Programmierer der KI-App legt die Spielregeln oder die Belohnungspolitik fest. Der Programmierer liefert auch das Problem, das die KI lösen muss. Im Gegensatz zu anderen ML-Modellen erhält das KI-Programm keinen Hinweis vom Softwareprogrammierer.

The AI needs to figure out how to resolve the game challenges to earn maximum rewards. The app can use trial and error, random trials, supercomputer skills, and sophisticated thought process tactics to reach a solution.

You must equip the AI program with powerful computing infrastructure and connect its thinking system with various parallel and historical gameplays. Then, AI can demonstrate critical and high-level creativity that humans can not imagine.

Beliebte Beispiele für Reinforcement Learning

# 1. Den besten menschlichen Go-Spieler besiegen

The AlphaGo AI from DeepMind Technologies, a subsidiary of Google, is one of the leading examples of RL-based machine learning. The AI plays a Chinese board game called Go. It is a 3,000-year-old game that focuses on tactics and strateGies. 

The programmers used the RL method of teaching for AlphaGo. It played thousands of Go game sessions with humans and itself. Then, in 2016 it defeated the world’s best Go player Lee Se-dol in a one-on-one match.   

# 2. Robotik aus der realen Welt

Humans have been using robotics for a long in production lines where the tasks are pre-planned and repetitive. But, if you need to make a general-purpose robot for the real world where actions are not pre-planned, then it is a great challenge.

Aber eine durch Verstärkungslernen aktivierte KI könnte eine reibungslose, navigierbare und kurze Route zwischen zwei Orten entdecken.    

# 3. Self-Driving Vehicles

Forscher für autonome Fahrzeuge verwenden die RL-Methode häufig, um ihren KIs Folgendes beizubringen: 

• Dynamisches Pathing
• Bahnoptimierung
• SPORTKLEIDUNG planning like parking and lane changing
• Optimierung von Controllern, (elektronischen Steuereinheiten) ECUs, (Mikrocontrollern) MCUs usw.
• Szenariobasiertes Lernen auf Autobahnen 

# 4. mit dem Autoated Cooling Systems

RL-basierte KIs können dazu beitragen, den Energieverbrauch von Kühlsystemen in riesigen Bürogebäuden, Geschäftszentren, Einkaufszentren und vor allem Rechenzentren zu minimieren. Die KI sammelt Daten von Tausenden von Wärmesensoren. 

It also gathers data on human and machinery activities. From these data, the AI can foresee the future heat generation potential and appropriately switches on and off cooling systems to save energy.   

So richten Sie ein Reinforcement-Learning-Modell ein

Sie können ein RL-Modell basierend auf den folgenden Methoden einrichten:

# 1. Richtlinienbasiert

Dieser Ansatz ermöglicht es dem KI-Programmierer, die ideale Richtlinie für maximale Belohnungen zu finden. Hier verwendet der Programmierer nicht die Wertfunktion. Sobald Sie die richtlinienbasierte Methode festgelegt haben, versucht der Reinforcement Learning Agent, die Richtlinie anzuwenden, sodass die Aktionen, die er in jedem Schritt ausführt, es der KI ermöglichen, die Belohnungspunkte zu maximieren.

Es gibt hauptsächlich zwei Arten von Richtlinien: 

#1. Deterministisch: The policy can produce the same actions at any given state. 

#2. Stochastik: Die erzeugten Aktionen werden durch die Eintrittswahrscheinlichkeit bestimmt. 

# 2. Wertorientiert

The value-based approach, on the contrary, helps the programmer to find the optimal value function, which is the maximum value under a policy at any given state. Once applied, the RL agent expects the long-term return at any one or multiple states under the said policy.

# 3. Modellbasiert

In the model-based RL approach, the AI programmer creates a virtual model for the environment. Then, the RL agent moves around the environment and learns from it.

Arten von Reinforcement Learning

# 1. Positives Verstärkungslernen (PRL)

Positives Lernen bedeutet, einige Elemente hinzuzufügen, um die Wahrscheinlichkeit zu erhöhen, dass das erwartete Verhalten erneut auftritt. Diese Lernmethode beeinflusst das Verhalten des RL-Agenten positiv. PRL verbessert auch die Stärke bestimmter Verhaltensweisen Ihrer KI.

PRL type of learning reinforcement should prepare the AI to adapt to changes for a long time. But injecting too much positive learning may lead to an overburden of states that can reduce the AI’s efficiency.

# 2. Negatives Verstärkungslernen (NRL)

Wenn der RL-Algorithmus der KI hilft, ein negatives Verhalten zu vermeiden oder zu stoppen, lernt sie daraus und verbessert ihre zukünftigen Handlungen. Dies wird als negatives Lernen bezeichnet. Es stellt der KI nur eine begrenzte Intelligenz zur Verfügung, um bestimmte Verhaltensanforderungen zu erfüllen.   

Reale Anwendungsfälle von Reinforcement Learning

# 1. Entwickler von E-Commerce-Lösungen haben personalisierte Tools zum Vorschlagen von Produkten oder Dienstleistungen entwickelt. Sie können die API des Tools mit Ihrer Online-Shopping-Site verbinden. Dann lernt die KI von einzelnen Benutzern und schlägt kundenspezifische Waren und Dienstleistungen vor.

# 2. Open-World-Videospiele bieten grenzenlose Möglichkeiten. Hinter dem Spielprogramm steckt jedoch ein KI-Programm, das aus den Eingaben der Spieler lernt und den Videospielcode modifiziert, um sich an eine unbekannte Situation anzupassen.

# 3. AI-based stock trading and investment platforms use the RL model to learn from the movement of stocks and global indices. Accordingly, they formulate a probability model to suggest equities for investment or trading.

# 4. Online-Videobibliotheken wie YouTube, Metacafe, Dailymotion usw. verwenden KI-Bots, die nach dem RL-Modell trainiert wurden, um ihren Benutzern personalisierte Videos vorzuschlagen.     

Häufige Herausforderungen beim Reinforcement Learning

• RL algorithms usually learn environment-specific things. Hence, they struggle to generalize, i.e., apply those learnings to new situations.
• Wenn die Codes und Modelle nicht verfügbar sind, ist der Ansatz schwer zu reproduzieren oder zu verbessern.
• When it comes to real-life applications, it is not easy to make sure that RL algorithms generate safe and ethical decisions.
• Effektives RL erfordert eine große Menge an Daten und Erfahrung, was es zeitaufwändig und kostspielig macht.
• Der RL-Algorithmus schafft es oft nicht, die Erforschung neuer Aktionen und die Nutzung vorhandenen Wissens in Einklang zu bringen.
• This sparsity of the non-zero reward signal makes effective learning difficult for the RL agent.

Verstärkungslernen vs. Überwachtes Lernen

Reinforcement learning aims at training the AI agent to make decisions sequentially. In einer nutshell, you can consider that the output of the AI depends on the state of the present input. Similarly, the next input to the RL algorithm will depend on the output of the past inputs.

Eine KI-basierte Robotermaschine, die eine Partie Schach gegen einen menschlichen Schachspieler spielt, ist ein Beispiel für das RL-Maschinenlernmodell.

Im Gegensatz dazu trainiert der Programmierer beim überwachten Lernen den KI-Agenten, Entscheidungen auf der Grundlage der zu Beginn gegebenen Eingaben oder anderer anfänglicher Eingaben zu treffen. Autonom fahrende KIs, die Umgebungsobjekte erkennen, sind ein hervorragendes Beispiel für überwachtes Lernen.  

Verstärkungslernen vs. Unbeaufsichtigtes Lernen

So far, you have understood that the RL method pushes the AI agent to learn from machine learning model policies. Mainly, the AI will only make those steps for which it gets maximum reward points. RL helps an AI to improvise itself durch Versuch und Irrtum.

Andererseits führt der KI-Programmierer beim unüberwachten Lernen die KI-Software mit unbeschrifteten Daten ein. Außerdem sagt der ML-Lehrer der KI nichts über die Datenstruktur oder was in den Daten zu suchen ist. Der Algorithmus lernt verschiedene Entscheidungen, indem er seine eigenen Beobachtungen an den gegebenen unbekannten Datensätzen katalogisiert.    

Kurse zum bestärkenden Lernen

Now that you have learned the basics, here are some online courses to learn advanced reinforcement learning. You also get a certificate that you can showcase on LinkedIn or other social platFormen: 

Spezialisierung auf verstärkendes Lernen: Coursera

Möchten Sie die Kernkonzepte des Reinforcement Learning mit ML-Kontext beherrschen? Sie können dies versuchen Coursera RL-Kurs which is available online and comes with self-paced learning and certification option. The course will be suitable for you if you bring the following as background skills:

• Programmierkenntnisse in Python
• Statistische Grundbegriffe
• Sie können Pseudocodes und Algorithmen in Python-Codes umwandeln
• Softwareentwicklungserfahrung von zwei bis drei Jahren
• Second-year undergraduates in computer science discipline are also eligible

The course has a 4.8-star rating, and over 36K students have already enrolled in the course in different courses of time. Furthermore, the course comes with financial aid provided that the candidate meets certain eligibility criteria of Coursera.

Finally, the Alberta Machine Intelligence Institute of the University of Alberta is offering this course (no credit awarded). Esteemed professors in the field of computer science will function as your course instructors. You will earn a Coursera certificate upon completion of the course.     

KI-Verstärkungslernen in Python: Udemy

Wenn Sie sich mit Finanzmarkt oder digitalem Marketing beschäftigen und intelligente Softwarepakete für die genannten Bereiche entwickeln möchten, müssen Sie sich das ansehen Udemy-Kurs auf RL. Neben den Kernprinzipien von RL werden Sie in den Schulungsinhalten auch darin geschult, RL-Lösungen für das Internet zu entwickeln Werbung und Aktienhandel.

Einige bemerkenswerte Themen, die der Kurs abdeckt, sind:  

• Eine allgemeine Übersicht über RL
• Dynamische Programmierung
• Monet Carlo
• Näherungsverfahren
• Aktienhandelsprojekt mit RL

Over 42K students have attended the course so far. The online learning resource currently holds a 4.6-star rating, which is pretty impressive. Moreover, the course aims at catering to a global student community since the learning content is available in French, English, Spanish, German, Italian, and Portuguese.

Deep Reinforcement Learning in Python: Udemy

Wenn Sie neugierig sind und Grundkenntnisse in Deep Learning und künstlicher Intelligenz haben, können Sie dies für Fortgeschrittene ausprobieren RL-Kurs in Python von Udemy. Mit einer 4.6-Sterne-Bewertung von Studenten ist es ein weiterer beliebter Kurs, um RL im Kontext von AI/ML zu lernen.

Der Kurs besteht aus 12 Abschnitten und behandelt die folgenden wichtigen Themen:

• OpenAI Gym und grundlegende RL-Techniken
• TD Lambda
• A3C
• Theano-Grundlagen
• Tensorflow-Grundlagen
• Python-Codierung für den Anfang

Der gesamte Kurs erfordert eine engagierte Investition von 10 Stunden und 40 Minuten. Neben Texten enthält es auch 79 Expertenvorträge.    

Experte für Deep Reinforcement Learning: Udacity

Möchten Sie fortgeschrittenes maschinelles Lernen von den weltweit führenden Anbietern von KI/ML wie dem Nvidia Deep Learning Institute und Unity lernen? Mit Udacity können Sie sich Ihren Traum erfüllen. Schau dir das an Tiefes Verstärkungslernen Kurs zum ML-Experten.

However, you need to come from a background of advanced Python, intermediate statistics, probability theory, TensorFlow, PyTorch, und Keras.

Es wird fleißiges Lernen von bis zu 4 Monaten erfordern, um den Kurs abzuschließen. Während des gesamten Kurses lernen Sie wichtige RL-Algorithmen wie Deep Deterministic Policy Gradients (DDPG), Deep Q-Networks (DQN) usw.   

Zusammenfassung

Reinforcement learning is the next step in AI development. AI development agencies and IT companies are pouring in investments in this sector to create reliable and trusted AI training methodologies.

Though RL has advanced a lot, there are more scopes of development. For example, separate RL agents do not share knowledge between them. Therefore, if you are training an app to drive a car, the learning process will become slow. Because RL agents like object detection, road references, etc., will not share data.

Es gibt Möglichkeiten, Ihre Kreativität und ML-Expertise in solche Herausforderungen zu investieren. Wenn Sie sich für Online-Kurse anmelden, können Sie Ihr Wissen über fortgeschrittene RL-Methoden und deren Anwendungen in realen Projekten erweitern.

Ein anderer related learning for you is die Unterschiede zwischen KI, Machine Learning und Deep Learning.