Python - Coole Module #1: Requests

In diesem Post zeige ich euch wie ihr mit Python und Requests googeln könnt.

Funktionen

Internationale Domains und URLs
Browser-ähnliche SSL-Verifizierung
Automatische Inhaltsdecodierung
Authentifizierung
Cookies
Automatische Dekompression
Unicode-Antwortkörper
HTTP (S) -Proxy-Unterstützung
Datei Uploads
Streaming-Downloads
Verbindungstimeouts
...

Installation

pip3 install requests

Programmieren

import requests
get_parameters = {'q':'irgendwas','start':0}
r2 = requests.get('https://www.google.de/search',get_parameters)

print(r2.text)
f = open('google-suche.html','w')
f.write(r2.text)
f.flush()
f.close()

Erklärung

In dem Dictionarie get_parameters = {'q':'irgendwas','start':0}
wird die Suchanfrage 'q':'irgendwas und die Startseite von der Google-Suche 'start':0
(0 = 1. Seite; 10 Ergebnisse pro Seite) festgelegt.
Die Seite wird mit r2 = requests.get('https://www.google.de/search',get_parameters) heruntergeladen.

Print output

<!doctype html><html itemscope="" itemtype="http://schema.org/SearchResultsPage" lang="de"><head><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/images/branding/googleg/1x/googleg_standard_color_128dp.png" itemprop="image"><link href="/images/branding/product/ico/googleg_lodp.ico" rel="shortcut icon"><title>irgendwas - Google-Suche</title>Search Options
Beliebiges Land
Land: Deutschland
Beliebige Sprache
Seiten auf Deutsch
Beliebige Zeit
 Letzte Stunde
 Letzte 24 Std.
 Letzte Woche
 Letzter Monat
 Letztes Jahr
Alle Ergebnisse
Wortwörtlich
Ungefähr 13.900.000 Ergebnisse
         
   Yvonne Catterfeld - Irgendwas feat. Bengio - YouTube 
 
 
 
 
Text: Sind auf der Suche nach irgendwas / Sind auf der Suche nach etwas mehr / Sind auf der Suche nach irgendwas / Nur was es ist, kann keiner erklären… Vollständiger Text bei Google Play Musik
Künstlerin: Yvonne Catterfeld
Featured artist: Bengio
Album: Guten Morgen Freiheit
Veröffentlicht: 2017
Genre: Pop
Wird auch oft gesucht
Lieber soYvonne Catterfeld
PendelYvonne Catterfeld
Ja, immer.Kalim

Besser werdenYvonne Catterfeld
Wenn sie tanztMax Giesinger
Lauf Baby laufTay Schmedtmann

Duden | irgendwas | Rechtschreibung, Bedeutung, Definition ...
https://www.duden.de/rechtschreibung/irgendwas
Im Cache
Definition, Rechtschreibung, Synonyme und Grammatik von 'irgendwas' auf 

Duden online nachschlagen. Wörterbuch der deutschen Sprache.</span>
div></div>irgendwas – Wiktionary
https://de.wiktionary.org/wiki/irgendwas
Im Cache
Ähnliche Seiten
Indefinitpronomen[Bearbeiten]. Worttrennung: ir·gend·was. Aussprache: IPA: [

&#712;&#618;&#641;&#609;n&#809;t&#712;vas]: Hörbeispiele: &#8212;. Bedeutungen: [1] umgangssprachlich: etwas 

Unbestimmtes; etwas nicht näher Spezifiziertes. Synonyme: [1] irgendetwas. <br>
Beispiele: [1] Lass uns heute <b>irgendwas</b> unternehmen! [1] Du bist so blass, ist <br>
<b>irgendwas</b> ...span><br></div>div><div class="g"><h3 class="r"><a href="/url?q=https://genius.com/Yvonne-catterfeld-irgendwas-lyrics&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghNMAs&usg=AOvVaw2vDjhAyF36qzbqHUgHgcLB">Yvonne Catterfeld &#8211; Irgendwas Lyrics | Genius Lyricshttps://genius.com/Yvonne-catterfeld-irgendwas-lyrics
Im Cache
Ähnliche Seiten
9. Dez. 2016 ... [Strophe 1: Yvonne Catterfeld] Irgendwas, das bleibt, irgendwas, das reicht. 

<b>Irgendwas</b>, das zeigt, dass wir richtig sind. Bis wir etwas finden, was sich gut <br>
anfühlt. Was sich lohnt zu teil&#39;n, würden gern sowas spür'n. Suchen überall, 

finden scheinbar nichts. Was uns halten kann, was uns das verspricht</span>
div></div>Irgendwas (Lied) – Wikipedia
https://de.wikipedia.org/wiki/Irgendwas_(Lied)
Im Cache
Ähnliche Seiten
Irgendwas ist ein Lied der deutschen Pop- und Soulsängerin Yvonne Catterfeld 

und des Sängers Bengio. Es wurde am 9. Dezember 2016 als erste <br>
Singleauskopplung ihres am 10. März 2017 veröffentlichten siebten <br>
Studioalbums Guten Morgen Freiheit veröffentlicht. Catterfeld stellte die Single <br>
unter anderem in der&nbsp;...</span>
div></div>irgendwas - Synonyme bei OpenThesaurus
https://www.openthesaurus.de/synonyme/irgendwas
Im Cache
Gefundene Synonyme: etwas, irgendetwas, irgendwas,
irgendwas : Spanisch » Deutsch | PONS
https://de.pons.com/übersetzung/deutsch-spanisch/irgendwas
Im Cache
Ähnliche Seiten
Übersetzungen für irgendwas im Deutsch » Spanisch-Wörterbuch von PONS 

Online:<b>irgendwas</b>, fällt dir noch irgendwasb> ein?, falls du <b>irgendwas</b> brauchst ...span><br></div>div><div class="g"><h3 class="r"><a href="/url?q=https://www.songtexte-lyrics.de/irgendwas-lyrics-yvonne-catterfeld/&sa=U&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQFghlMA8&usg=AOvVaw3AuY4-7XruD0vZwbGPRv3z">Yvonne Catterfeld - <b>Irgendwas</b> Lyrics | Songtexte-Lyrics.dea></h3>https://www.songtexte-lyrics.de/<b>irgendwas</b>-lyrics-yvonne-catterfeld/</cite>span></div>Im Cache
Ähnliche Seiten
Lyrics zu 'Irgendwas' von Yvonne Catterfeld. Irgendwas, das bleibt, irgendwas, 

das reicht / <b>Irgendwas</b>, das zeigt, dass wir richtig sind / Bis wir etwas.</span>
div></div>irgendwas - LEO: Übersetzung im Englisch ⇔ Deutsch Wörterbuch
https://dict.leo.org/englisch-deutsch/irgendwas
Im Cache
Übersetzung für 'irgendwas' in LEOs Englisch ⇔ Deutsch Wörterbuch. Mit 

Flexionstabellen, Aussprache und vielem mehr.</span>
div></div>Yvonne Catterfeld und Bengio - Irgendwas - MySpass
www.myspass.de/shows/tvshows/luke...Irgendwas--/27630/
Im Cache
Ähnliche Seiten
Auch beim Jahresrückblick darf es mal was Neues geben: Yvonne Catterfeld und 

Bengio präsentieren live im Studio ihren neuen Hit `<b>Irgendwas</b>´!span><br></div>div></ol>div></div>div><div style="clear:both;margin-bottom:17px;overflow:hidden"><div style="font-size:16px;padding:0 8px 1px">Ähnliche Suchanfragen: <b>irgendwas</b>div><table border="0" cellpadding="0" cellspacing="0"><tr><td valign="top"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+duden&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIdygA">irgendwas <b>duden</b>a></p>td><td valign="top" style="padding-left:10px"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+silbermond&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIeCgB">irgendwas <b>silbermond</b>a></p>td></tr>irgendwas oder irgendetwas
irgendwas ist immerb></a>p></td>tr><tr><td valign="top"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+englisch&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIeygE">irgendwas <b>englisch</b>a></p>td><td valign="top" style="padding-left:10px"><p class="_Bmc" style="margin:3px 8px"><a href="/search?ie=UTF-8&q=irgendwas+synonym&sa=X&ved=0ahUKEwia8Mmw-bnZAhVH_KQKHUGFCCUQ1QIIfCgF">irgendwas <b>synonym</b>a></p>td></tr>
irgendwas fehlt
irgendwas chordsb></a>p></td>tr></table>div></div>
Erweiterte Suchea><a href="/support/websearch/bin/answer.py?answer=134479&hl=de">Hilfe zur Suche</a> Feedback geben
Google-Startseitea> <a href="/intl/de/ads">Werbung</a> Datenschutzerklärung Nutzungsbedingungen Über Google
(function(){var eventid='jfCOWtr1O8f4kwXBiqKoAg';google.kEI = eventid;})();script><script src="/xjs/_/js/k=xjs.hp.en.TSpUc5CqeZc.O/m=sb_he,d/rt=j/d=1/t=zcms/rs=ACT90oGHfCz4kYxc85bptyNZ101bBqkdww" nonce="/fGLTP30cFQIWqYV9Gns8w=="></script>google.ac&&google.ac.c({"agen":true,"cgen":true,"client":"heirloom-serp","dh":true,"dhqt":true,"ds":"","fl":true,"host":"google.de","isbh":28,"jsonp":true,"lm":true,"msgs":{"cibl":"Suche löschen","dym":"Meintest du:","lcky":"Auf gut Glück!","lml":"Weitere Informationen","oskt":"Eingabetools","psrc":"Diese Suchanfrage wurde aus deinem \u003Ca href=\"/history\"\u003EWebprotokoll\u003C/a\u003E entfernt.","psrl":"Entfernen","sbit":"Bildersuche","srch":"Google-Suche"},"nds":true,"ovr":{},"pq":"irgendwas","refpd":true,"rfs":["irgendwas duden","irgendwas oder irgendetwas","irgendwas englisch","irgendwas fehlt","irgendwas silbermond","irgendwas ist immer","irgendwas synonym","irgendwas chords"],"sbpl":24,"sbpr":24,"scd":10,"sce":5,"stok":"H9JtF0g3ZRBmOgSdGZn9WNXE4GQ"})</script>(function(){window.google.cdo={height:0,width:0};(function(){var a=window.innerWidth,b=window.innerHeight;if(!a||!b){var c=window.document,d="CSS1Compat"==c.compatMode?c.documentElement:c.body;a=d.clientWidth;b=d.clientHeight}a&&b&&(a!=google.cdo.width||b!=google.cdo.height)&&google.log("","","/client_204?&atyp=i&biw="+a+"&bih="+b+"&ei="+google.kEI);}).call(this);})();script></body>html>


Es wird also der komplette HTML-Code heruntergeladen.

Wenn man diesen dann mit dem Browser ausführt wird folgendes angezeigt:

Im folgenden Post zeige ich noch wie ihr den HTML-Code nach wichtigen Bestandteilen wie z.B. den URLs untersuchen könnt.

Weitere Informationen finden sie hier.
span><b></b>td><td><span class="csb" style="background-position:-53px 0;width:20px"></span>1b></td> 2 span>3</a>td><td><a class="fl" href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=30&sa=N"><span class="csb" style="background-position:-74px 0;width:20px"></span>4a></td> 5 span>6</a>td><td><a class="fl" href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=60&sa=N"><span class="csb" style="background-position:-74px 0;width:20px"></span>7a></td> 8 span>9</a>td><td><a class="fl" href="/search?q=irgendwas&ie=UTF-8&prmd=ivns&ei=jfCOWtr1O8f4kwXBiqKoAg&start=90&sa=N"><span class="csb" style="background-position:-74px 0;width:20px"></span>10a></td> Weiter