【python】webサイトの情報を取得する

目的
- pythonでwebサイトの情報を取得する
結論
- 以下のコマンドを実行していくとwebサイトの情報が取得できる

実行コマンド（今のUNIX時間）

ソース

#!/usr/bin/python
# -*- coding: utf-8 -*-

import urllib.request
# 参考：https://docs.python.org/ja/3/library/urllib.request.html

# 取得するURLを指定する
url = "https://www.yahoo.co.jp/"

# webページの内容を取得する
get_web_page = urllib.request.urlopen(url)
# utf-8に変換して表示する
get_web_page_fix = get_web_page.read().decode("utf-8")
# 表示
print(get_web_page_fix)

実行結果

<!DOCTYPE html><html lang="ja"><head><meta charSet="utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"/><title>Yahoo! JAPAN</title><meta name="description" content="あなたの毎日をアップデートする情報ポータル。検索、ニュース、天気、スポーツ、メール、ショッピング、オークションなど便利なサービスを展開しています。"/><meta name="robots" content="noodp"/><meta name="viewport" content="width=1010"/><link rel="dns-prefetch" href="//s.yimg.jp"/><link rel="dns-prefetch" href="//yads.c.yimg.jp"/><meta name="google-site-verification" content="fsLMOiigp5fIpCDMEVodQnQC7jIY1K3UXW5QkQcBmVs"/><link rel="alternate" href="android-app://jp.co.yahoo.android.yjtop/yahoojapan/home/top"/><link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.yahoo.co.jp/"/><link rel="canonical" href="https://www.yahoo.co.jp/"/><link rel="shortcut icon" href="https://s.yimg.jp/c/icon/s/bsc/2.0/favicon.ico" type="image/vnd.microsoft.icon"/><link rel="icon" href="https://s.yimg.jp/c/icon/s/bsc/2.0/favicon.ico" type="image/vnd.microsoft.icon"/><link rel="apple-touch-icon-precomposed" href="https://s.yimg.jp/c/icon/s/bsc/2.0/y120.png"/><meta property="og:title" content="Yahoo! JAPAN"/><meta property="og:type" content="website"/><meta property="og:url" content="https://www.yahoo.co.jp/"/><meta property="og:image" content="https://s.yimg.jp/images/top/ogp/fb_y_1500px.png"/><meta property="og:description" content="あなたの毎日をアップデートする情報ポータル。検索、ニュース、天気、スポーツ、メール、ショッピング、オークションなど便利なサービスを展開しています。"/><meta property="og:site_name" content="Yahoo! JAPAN"/><meta property="twitter:card" content="summary_large_image"/><meta property="twitter:site" content="@Yahoo_JAPAN_PR"/><meta property="twitter:image" content="https://s.yimg.jp/images/top/ogp/tw_y_1400px.png"/><meta property="fb:app_id" content="472870002762883"/><link rel="stylesheet" href="//s.yimg.jp/images/yjtop-pc/orion/v127/bundle_v127.css"/><script>window.onbeforeunload = function() {}</script><script>
var TLDataContext = {
ual : {
pageview : {

一部抜粋

【python】webサイトの情報を取得する

関連

コメント