山内セミナーⅠ(2021/06/02)

関連サイトと資料

必要なライブラリ(requests, beautifulsoup4)のインストール

  1. 下の図の赤丸をクリックして、コマンドプロンプトを開いてください。


  2. 「conda activate seminar1」と入力して、エンターキーを押してください。 プロンプトの左側のカッコの中の表示が「base」から「seminar1」に変化し、 仮想環境「seminar1」に入ったことを示しています。


  3. 仮想環境「seminar1」で、「pip install requests beautifulsoup4」と入力して、エンターキーを押してください。 大学で作業をしている時には、「pip install requests beautifulsoup4 --proxy=ccproxy2.kanagawa-it.ac.jp:10080」と入力してください。

サンプルファイル

list1.py
import requests
from bs4 import BeautifulSoup
    
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
print(sp)
    

list1.py(proxyバージョン)
import requests
from bs4 import BeautifulSoup
import os
  
os.environ['http_proxy'] = 'http://ccproxyy.kanagawa-it.ac.jp:10080'
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
print(sp)
    

list2.py
import requests
from bs4 import BeautifulSoup
   
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
print(sp.select_one('#date').string)
    

list2.py(proxyバージョン)
import requests
from bs4 import BeautifulSoup
import os
  
os.environ['http_proxy'] = 'http://ccproxyy.kanagawa-it.ac.jp:10080'
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
print(sp.select_one('#date').string)
    

list3.py
import requests
from bs4 import BeautifulSoup
  
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
selector = '#wrapper > table > tbody > tr:nth-child(2) > td:nth-child(4)'
print(sp.select_one(selector).string)
    

list3.py(proxyバージョン)
import requests
from bs4 import BeautifulSoup
import os
  
os.environ['http_proxy'] = 'http://ccproxyy.kanagawa-it.ac.jp:10080'
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
   
sp = BeautifulSoup(res.text, 'html.parser')
selector = '#wrapper > table > tbody > tr:nth-child(2) > td:nth-child(4)'
print(sp.select_one(selector).string)
    

list4.py
import requests
from bs4 import BeautifulSoup
  
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
elms = sp.select('.item')
  
for elm in elms:
    print(elm.string)
    

list4.py(proxyバージョン)
import requests
from bs4 import BeautifulSoup
import os
  
os.environ['http_proxy'] = 'http://ccproxyy.kanagawa-it.ac.jp:10080'
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
elms = sp.select('.item')
  
for elm in elms:
    print(elm.string)
    

list5.py
import requests
from bs4 import BeautifulSoup
  
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
item = sp.select('.item')[0]
  
for elm in item.next_siblings:
    print(elm.string)
    

list5.py(proxyバージョン)
import requests
from bs4 import BeautifulSoup
import os
  
os.environ['http_proxy'] = 'http://ccproxyy.kanagawa-it.ac.jp:10080'
url = 'https://www.tosiyama.jp/university/seminar1/nsw1.html'
  
res = requests.get(url)
res.encoding = res.apparent_encoding
  
sp = BeautifulSoup(res.text, 'html.parser')
item = sp.select('.item')[0]
   
for elm in item.next_siblings:
    print(elm.string)