Wie verwendet man Proxy mit cURL und wget?

Sind Sie es leid, dass Ihnen der Zugriff auf bestimmte Websites oder Dienste verwehrt wird?

Möchten Sie diese Beschränkungen umgehen und auf die gewünschten Inhalte zugreifen?

Wenn ja, dann können Sie die Verwendung eines Proxy-Servers über die Befehlszeilenschnittstelle mit den Tools cURL oder wget in Betracht ziehen.

Sehen wir uns zunächst an, was genau ein Proxy ist und wie er funktioniert.

Was ist ein Proxy-Server?

Ein Proxy-Server fungiert als Vermittler zwischen Ihrem Gerät (wie Ihrem Computer oder Telefon) und dem Internet.

Wenn Sie auf eine Website oder einen Dienst zugreifen möchten, geht Ihre Anfrage zunächst an den Proxy-Server, anstatt direkt an das Ziel.

Der Proxyserver sendet dann Ihre Anfrage in Ihrem Namen an den Zielserver und erhält die Antwort vom Zielserver zurück. Schließlich sendet der Proxyserver diese Antwort zurück an Ihr Gerät.

Es ist so, als hätten Sie einen persönlichen Assistenten, der sich um die gesamte Kommunikation zwischen Ihnen und dem Zielserver kümmert.

Aber warum sollte man überhaupt einen Proxyserver verwenden?

Nun, dafür gibt es eine Reihe von Gründen.

Die Verwendung eines Proxy-Servers kann dazu beitragen, Ihre Privatsphäre und Anonymität zu schützen. Wenn Sie sich über einen Proxyserver mit einer Website oder einem Dienst verbinden, bleibt Ihre IP-Adresse vor dem Zielserver verborgen. Stattdessen sieht der Server nur die IP-Adresse des Proxyservers. Dadurch wird es für Websites schwieriger, Ihre Online-Aktivitäten zu verfolgen.

Und...

Ein weiterer Grund für die Verwendung eines Proxy-Servers ist das Filtern von Inhalten. Dies kann besonders für Unternehmen nützlich sein, die den Zugriff auf bestimmte Arten von Inhalten kontrollieren oder einschränken möchten.

Proxy-Server können so konfiguriert werden, dass der Zugriff auf bestimmte Websites anhand bestimmter Kriterien wie Schlüsselwörter oder URL-Kategorien gesperrt wird. So können Sie sicherstellen, dass Ihre Mitarbeiter während der Arbeitszeit nicht auf unangemessene oder ablenkende Websites zugreifen.

Wenn Sie die wichtigsten Unterschiede zwischen Proxy und VPN kennen lernen möchten, lesen Sie bitte diesen Artikel.

Wie verwendet man einen Proxy mit cURL?

cURL ist ein Open-Source-Befehlszeilentool, das für den Datentransfer zwischen Servern entwickelt wurde und daher bei Technikfreaks auf der ganzen Welt sehr beliebt ist. Dank seiner beeindruckenden Kompatibilität mit einer breiten Palette von Protokollen wie HTTP, FTP und SMTP.

Selbst die komplexesten Datenübertragungsaufgaben lassen sich damit mühelos bewältigen. Darüber hinaus ist dieses innovative Tool mit einer Reihe von sicheren Verschlüsselungsmethoden ausgestattet, die dazu beitragen, dass die Daten während des gesamten Übertragungsprozesses sicher und geschützt sind.

cURL ist für die meisten Betriebssysteme verfügbar. Wenn Sie feststellen, dass es auf Ihrem System nicht installiert ist, machen Sie sich keine Sorgen - Sie können es ganz einfach manuell herunterladen. Folgen Sie einfach den nachstehenden Schritten, um cURL zu installieren und sein volles Potenzial auszuschöpfen.

Windows

• Laden Sie die ausführbare Datei curl von der offizielle Website herunter.
• Entpacken Sie die Zip-Datei in einen Ordner auf Ihrem Computer.
• Fügen Sie den Ordnerpfad zur Umgebungsvariablen PATH Ihres Systems hinzu.

Mac OS

• Öffnen Sie die Terminal-Anwendung.
• Installieren Sie Homebrew (falls Sie es noch nicht getan haben), indem Sie den folgenden Befehl ausführen.

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

• Installieren Sie nun cURL, indem Sie den folgenden Befehl ausführen.

brew install curl

Linux

Bei den meisten Linux-Distributionen wird cURL standardmäßig installiert. Falls es fehlt, müssen Sie es mit dem für Ihre Distribution spezifischen Paketmanager installieren.

Unter Ubuntu oder Debian können Sie cURL zum Beispiel mit folgendem Befehl installieren.

sudo apt-get install curl

Unter CentOS oder Fedora können Sie den folgenden Befehl verwenden.

sudo yum install curl

Sobald Sie cURL installiert haben, können Sie es testen, indem Sie den Befehl"curl -version" in Ihrem Terminal/Befehlszeile ausführen.

Kommen wir nun zu unserem Hauptthema.

Sie können einen Proxy mit cURL verwenden, indem Sie den Proxy-Server und die Portnummer im cURL-Befehl mit der Option -x oder -Vollmacht angeben.

Hier eine grundlegende Syntax für einen cURL-Befehl, der einen Proxy verwendet.

curl -x <proxy-server>:<Port-Nummer> <url&gt

Ersetzen Sie durch den Hostnamen oder die IP-Adresse des Proxy-Servers, durch die vom Proxy verwendete Portnummer und durch die URL der Website oder des API-Endpunkte, auf die Sie zugreifen möchten.

Hier ist ein Beispiel.

curl -x 5.189.184.6:80 ipinfo.io

Dieser Befehl sendet eine Anfrage an die Website ipinfo.io über den Proxy-Server 5.189.184.6 an Port 80. Diese Beispiel-Proxy-Adresse habe ich der öffentlich zugänglichen Proxy-Liste entnommen. Sie können diese Website gerne besuchen, wenn Sie eine temporäre Proxy-Adresse suchen. Probieren Sie es auf eigene Gefahr aus!☢️

In diesem Fall können Sie die Optionen"--proxy-user" und"--proxy-password" verwenden, um Ihren Benutzernamen und Ihr Passwort anzugeben. Ein Beispiel:

curl -x 5.189.184.6:80 --proxy-user benutzername:passwort <Ziel-URL&gt

Ersetzen Sie "username" und "password" durch Ihre tatsächlichen Anmeldedaten für den Proxy-Server.

Testen der Proxy-Verbindung mit cURL

Vor der Verwendung des Proxys

Hier können Sie sehen, dass cURL meine ursprüngliche IP-Adresse und meinen Standort anzeigt. Aus Sicherheitsgründen musste ich meine IP-Adresse verbergen.

Nach der Verwendung eines Proxys

Hier zeigt cURL die Proxy-Adresse anstelle meiner ursprünglichen IP-Adresse an.

Wie verwendet man einen Proxy mit wget?

wget ist ein Befehlszeilentool, das zum Herunterladen von Dateien aus dem Internet verwendet wird. Es ist auf den meisten Linux-, Unix- und macOS-Systemen vorinstalliert und ist auch für Windows verfügbar.

Um wget auf einem Linux-System zu installieren, können Sie den Paketmanager Ihrer Distribution verwenden.

Unter Debian oder Ubuntu können Sie zum Beispiel den folgenden Befehl verwenden:

sudo apt-get install wget

Unter CentOS oder Fedora

sudo yum wget installieren

Unter macOS können Sie wget mit Homebrew installieren.

brew wget installieren

Unter Windows können Sie wget installieren, indem Sie die ausführbare Binärdatei von der offiziellen GNU-Website herunterladen und zu Ihrem Systempfad hinzufügen.

Sobald Sie wget installiert haben, können Sie es verwenden, um Dateien von der Kommandozeile aus herunterzuladen, indem Sie die URL der Datei angeben, die Sie herunterladen möchten. Um beispielsweise eine Datei namens "example.zip" von einer Website herunterzuladen, können Sie den folgenden Befehl verwenden:

wget http://example.com/example.zip

Sie können auch zusätzliche Optionen verwenden, um den Download anzupassen, wie z.B. die Angabe des Ausgabedateinamens oder -verzeichnisses, die Begrenzung der Download-Geschwindigkeit und die Wiederaufnahme unterbrochener Downloads. Um mehr über die verfügbaren Optionen zu erfahren, können Sie das wget-Handbuch verwenden, indem Sie "man wget" in Ihr Terminal eingeben.

Lassen Sie uns einen Blick auf die Konfiguration des Proxys mit diesem wget werfen.

Setzen Sie zunächst die Umgebungsvariablen für den Proxy-Server, indem Sie den folgenden Befehl im Terminal ausführen.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port&gt

Testen Sie, ob der Proxyserver richtig konfiguriert ist, indem Sie den folgenden Befehl ausführen:

wget <Ziel-URL&gt

Ersetzen Sie durch die URL der Datei oder Webseite, die Sie über den Proxyserver herunterladen möchten. Wenn der Befehl die Datei oder die Webseite erfolgreich herunterlädt, ist der Proxyserver richtig konfiguriert. Schlägt der Befehl fehl, müssen Sie möglicherweise die Einstellungen und Anmeldeinformationen Ihres Proxy-Servers überprüfen.

(Optional) Um die Einstellungen für den Proxyserver dauerhaft zu machen, können Sie die Umgebungsvariablen in die Shell-Profildatei wie ~/.bashrc oder ~/.bash_profile aufnehmen. Sie können die folgenden Zeilen am Ende der Datei einfügen:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port&gt

Wenn Ihr Proxy-Server eine Authentifizierung erfordert, können Sie Ihren Benutzernamen und Ihr Passwort in die Variablen "http_proxy" und "https_proxy-Umgebung" aufnehmen.

export http_proxy=http://<Benutzername>:<Passwort>@<proxy_server>:<Port>
export https_proxy=https://<Benutzername>:<Passwort>@<proxy_server>:<Port&gt

Hinweis: Einige Proxy-Server verwenden möglicherweise ein anderes Protokollschema wie z.B. Socken anstelle von"http" oder"https". In diesem Fall müssen Sie das Schema in den Umgebungsvariablen und den URLs entsprechend anpassen.

Testen der Proxy-Verbindung mit wget

Vor der Verwendung des Proxys

wget zeigt meine ursprüngliche IP-Adresse an, bevor ich eine Proxy-Adresse verwendet habe. Aus Sicherheitsgründen musste ich meine IP-Adresse verbergen.

Nach der Verwendung des Proxys

Hier können Sie sehen, dass wget versucht, eine Verbindung zu einem Proxy-Server herzustellen, bevor es auf die Website zugreift.

Fehlersuche bei allgemeinen Problemen

Die Verwendung eines Proxyservers mit cURL und wget kann manchmal zu Problemen führen. Aber keine Angst, wir haben einige Tipps zur Fehlerbehebung, damit Sie wieder auf die Beine kommen!

#1. Proxy-Server antwortet nicht

Wenn Ihr Proxyserver nicht antwortet, ist er möglicherweise ausgefallen oder es gibt Probleme. Um herauszufinden, was los ist, versuchen Sie Folgendes.

• Prüfen Sie, ob der Proxyserver aktiv ist, indem Sie die IP-Adresse des Servers anpingen.
• Vergewissern Sie sich, dass Sie die richtige Adresse des Proxy-Servers und die richtige Portnummer eingegeben haben.
• Versuchen Sie, einen anderen Proxyserver zu verwenden, um zu sehen, ob das Problem weiterhin besteht.

#2. Verbindung verweigert

Oh, Verbindung verweigert?

Das ist nicht gut.

Diese Fehlermeldung bedeutet in der Regel, dass der Proxyserver keine Verbindungen annimmt. Hier sind einige Schritte zur Fehlerbehebung dieses Problems:

• Prüfen Sie zunächst, ob der Proxyserver so konfiguriert ist, dass er Verbindungen von Ihrer IP-Adresse oder Ihrem Subnetz akzeptiert.
• Vergewissern Sie sich, dass der Proxyserver nicht durch eine Firewall oder Antivirensoftware blockiert wird.
• Prüfen Sie als nächstes, ob der Proxyserver Authentifizierungsdaten verlangt, und vergewissern Sie sich, dass Sie die richtigen Daten eingegeben haben.

Vergessen Sie nicht, einen anderen Proxyserver auszuprobieren, wenn keiner dieser Tipps funktioniert.

#3. SSL/TLS-Zertifikatsüberprüfung fehlgeschlagen

zertifikatsüberprüfung fehlgeschlagen?

Das klingt nach einem Problem mit dem SSL/TLS-Zertifikat des Proxyservers.

Um dieses Problem zu beheben, versuchen Sie Folgendes:

• Überprüfen Sie das Zertifikat des Proxy-Servers, um sicherzustellen, dass es gültig ist und nicht abgelaufen ist.
• Wenn das Zertifikat ungültig ist, wenden Sie sich an den Administrator des Proxyservers, um ein gültiges SSL/TLS-Zertifikat zu erhalten.
• Wenn das Zertifikat gültig ist und es trotzdem nicht funktioniert. Sie können die SSL/TLS-Zertifikatsüberprüfung deaktivieren, aber seien Sie vorsichtig, denn dies kann Ihre Sicherheit gefährden.

#4. Authentifizierung fehlgeschlagen

Wenn der Proxy-Server eine Authentifizierung verlangt und Sie sich nicht authentifizieren können, liegt das wahrscheinlich daran, dass Sie den falschen Benutzernamen und das falsche Passwort eingegeben haben oder der Proxy-Server eine andere Authentifizierungsmethode verwendet.

Versuchen Sie, Ihre Authentifizierungsdaten entsprechend anzupassen, oder wenden Sie sich an den Administrator des Proxyservers, um Hilfe zu erhalten.

Autor: note✍️

Es gibt viele kostenlose und kostenpflichtige Proxy-Anbieter im Internet, aber eine empfohlene Option für die kommerzielle Nutzung ist IPRoyal. IPRoyal bietet eine breite Palette von Proxy-Lösungen für Unternehmen, einschließlich Proxys für Privatanwender und Rechenzentren mit mehreren Standorten und IP-Typen zur Auswahl.

Es bietet zuverlässige und sichere Proxy-Dienste für verschiedene Anwendungsfälle wie Web Scraping, Data Mining und Automatisierung.

Ich hoffe, dass Sie diesen Artikel hilfreich fanden, um mehr über die Verwendung von Proxys mit den Kommandozeilen-Tools cURL und wget zu erfahren. Vielleicht interessiert Sie auch, wie Sie den Linux-Datenverkehr mit Proxy-Ketten und dem Tor-Netzwerk Anonymisieren können.