Day05(3-1~3-13)

1. 3주차 내용

- 3주차 설치 : Python, Git bash(윈도우만)

- 3주차 배울 것 : Python, 크롤링, mongoDB

 

 

2. 파이썬 기초공부(1)

1) 변수 & 기본연산

a = 3   # 3을 a에 넣는다
b = a   # a의 값을 b에 넣는다
a = a + 1   # 기존의 a의 값에 1을 더한 후 다시 a에 넣는다

num1 = a*b   # a의 값과 b의 값을 곱해 num1에 넣는다
num2 = 99   # 99를 num2에 넣는다

#변수의 이름 마음대로 짓기 가능!

 

2) 자료형

- 숫자, 문자형

name = 'bob'   # 변수에 문자열 입력 가능
num = 12   # 변수에 숫자 입력 가능

is_number = True   # True 또는 False의 'Boolean' 형 입력 가능
# 변수에 List, Dictionary 형 입력 가능

- 리스트형 

a_list = []
a_list.append(1)   # 리스트에 값을 넣는다
a_list.append([2, 3])  # 리스트에 [2, 3]을 한 요소로 넣는다

# a_list의 내용 : [1, [2, 3]]
# a_list[1][0] 값 : 2

- Dictionary 형

a_dict = {}
a_dict = {'name': 'bob', 'age': 21}
a_dict['height'] = 178

# a_dict의 값은? {'name':'bob','age':21, 'height':178}
# a_dict['name']의 값은? 'bob'
# a_dict['age']의 값은? 21
# a_dict['height']의 값은? 178

- Dictionary 형과 List 형의 조합

people = [{'name': 'bob', 'age': 20}, {'name': 'carry', 'age': 38}]

# people[0]['name']의 값은? 'bob'
# people[1]['name']의 값은? 'carry'


person = {'name': 'john', 'age': 7}
people.appned(person)

# people의 값은? [{'name':'bob','age':20},{'name':'carry','age':38},{'name':'john','age':7}]
# people[2]['name']의 값은? 'john'

 

3) 함수

- 함수의 정의와 응용

def sum_all(a, b, c):
   return a+b+c
   
   
def mul(a, b):
   return a*b
   
result = sum_all(1, 2, 3) + mul(10, 10)

# result라는 변수의 값 = 106

 

 

3. 파이썬 기초공부(2)

1) 조건문(if/else)

def oddeven(num):  # oddeven이라는 이름의 함수를 정의한다. num을 변수로 받는다.
	if num % 2 == 0: # num을 2로 나눈 나머지가 0이면
		 return True   # True (참)을 반환한다.
	else:            # 아니면,
		 return False  # False (거짓)을 반환한다.

result = oddeven(20)
# result의 값은 무엇일까요?

def is_adult(age):
	if age > 20:
		print('성인입니다')    # 조건이 참이면 성인입니다를 출력
	else:
		print('청소년이에요')  # 조건이 거짓이면 청소년이에요를 출력

is_adult(30)
# 무엇이 출력될까요?

 

2) 반복문

- 리스트 예제

fruits = ['사과','배','배','감','수박','귤','딸기','사과','배','수박']

count = 0
for fruit in fruits:
	if fruit == '사과':
		count += 1

print(count)

# 사과의 갯수를 세어 보여줍니다.

def count_fruits(target):
	count = 0
	for fruit in fruits:
		if fruit == target:
			count += 1
	return count

subak_count = count_fruits('수박')
print(subak_count) #수박의 갯수

gam_count = count_fruits('감')
print(gam_count) #감의 갯수

- 딕셔너리 예제

people = [{'name': 'bob', 'age': 20}, 
          {'name': 'carry', 'age': 38},
          {'name': 'john', 'age': 7},
          {'name': 'smith', 'age': 17},
          {'name': 'ben', 'age': 27}]

# 모든 사람의 이름과 나이를 출력해봅시다.
for person in people:
    print(person['name'], person['age'])


# 이번엔, 반복문과 조건문을 응용한 함수를 만들어봅시다.
# 이름을 받으면, age를 리턴해주는 함수
def get_age(myname):
    for person in people:
        if person['name'] == myname:
            return person['age']
    return '해당하는 이름이 없습니다'


print(get_age('bob'))
print(get_age('kay'))

 

 

4. 파이썬 패키지 설치하기

- 패키지란 모듈을 모아 놓은 단위

- 패키지 설치 = 외부 라이브러리 설치

- 가상환경 : 프로젝트별로 패키지들을 담을 공구함

- 같은 시스템 상 다른 파이썬 응용 프로그램들의 동작에 영향을 주지 않기 위해, 파이썬 배포 패키지들을 설치하거나 업그레이드하는 것을 가능하게 하는 격리된 실행 환경

- project interpreter에서 + 버튼을 눌러 requests를 검색해 패키지 설치하기

 

 

5. 패키지 사용해보기

- requests 라이브러리 설치

- requests를 사용해 미세먼지가 60미만인 구만 찍기

import requests

# 서울시 대기 OpenAPI
r = requests.get("http://spartacodingclub.shop/sparta_api/seoulair")
rjson = r.json()

gus = rjson['RealtimeCityAir']['row']

for gu in gus: 
   if gu['IDEX_MVL'] < 60: 
      print(gu['MSRSTE_NM'], gu['IDEX_MVL'])

* 파이썬은 들여쓰기 정말 중요!!!

 

 

6. 웹스크래핑(크롤링) 기초

- 패키지 추가 설치 : bs4(beautifulsoup4)

- 크롤링 기본 세팅

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

# 스크래핑할 페이지 주소
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# html을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 코딩을 통해 필요한 부분 추출
soup = BeautifulSoup(data.text, 'html.parser')

- beautifulSoup 내 select 에 미리 정의된 다른 방법

# 선택자를 사용하는 방법 (copy selector)
soup.select('태그명')
soup.select('.클래스명')
soup.select('#아이디명')

soup.select('상위태그명 > 하위태그명 > 하위태그명')
soup.select('상위태그명.클래스명 > 하위태그명.클래스명')

# 태그와 속성값으로 찾는 방법
soup.select('태그명[속성='값']')

# 한 개만 가져오고 싶은 경우
soup.select_one('위와 동일')

*또는 크롬 개발자도구에서 copy -> copy selector로 선택자 복사

- 영화 제목 가져오기

import requests
from bs4 import BeautifulSoup

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해 tr들 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
   # movie 안에 a 가 있으면,
   a_tag = movie.select_one('td.title > div > a')
   if a_tag is not None:
      # a의 text를 찍어본다.
      print(a_tag.text)

 

 

7. Quiz_웹스크래핑(크롤링) 연습

- 순위, 제목, 별점 웹스크래핑 하기

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies:
   a_tag = movie.select_one('td.title > div > a')
   if a_tag is not None:  # n번째 줄은 tr:nth-child(n)
      title = a_tag.text
      rank = movie.select_one('td:nth-child(1) > img')['alt']  # 첫번째 칸인 td:nth-child(1)
      star = movie.select_one('td.pont').text  # id값을 더한 td.pont
      print(rank, title, star)

*크롬 개발자도구에서 copy -> copy selector로 선택자 복사 및 확인

 

 

8. DB개괄

- DB를 사용하는 이유 : 잘 넣어두기 위해서 & 잘 찾기 위해서

- Index라는 순서로 데이터들 정렬화

- RDBMS(SQL) : 행과 열이 정해진 데이터 저장 방식, 중간에 열을 더하기 어려우나 데이터의 일관석 or 분석에 용이

- No-SQL : 딕셔너리 형태로 데이터를 저장해둔 DB, 자유로운 형태이지만 일관성 부족

- 최근 클라우드 서비스 이용

 

 

9. mongoDB

- Allow Access from Anywhere로 설정

- mongoDB-Atlas 연결 시 패키지 설치(pymongo, dnspython) -> pymongo는 mongoDB 프로그램을 조작하는 특별한 라이브러리

-  pymongo 기본코드

from pymongo import MongoClient
client = MongoClient('여기에 db connect url 입력(패스워드 입력)')
db = client.dbsparta

doc = {
   'name':'bob',
   'age':27
}

db.users.inset_one(doc)  # 데이터 넣기

 

 

10. pymongofh DB조작하기

1) 데이터 넣기

db.users.insert_one({'name': 'bobby', 'age': 21})

 

2) 모든 결과값 보기

all_user = list(db.users.find({}, {'_id': False}))

print(all_users[0])         # 0번째 결과값을 보기
print(all_users[0]['name']) # 0번째 결과값의 'name'을 보기

for user in all_users:      # 반복문을 돌며 모든 결과값을 보기
    print(user)

*결과값이 여러개이기 때문에 꼭 list로 받아야 함! 

 

3) 특정 결과값 뽑아보기

user = db.users.find_one({'name': 'bobby'})
print(user)
# 이름이 bobby인 db 출력

 

4) 수정하기

# 이름이 bobby인 사람의 나이를 19로 변경
db.users.update_one({'name': 'bobby'}, {'$set': {'age': 19}})

user = db.users.find_one({'name': 'bobby'})
print(user)

 

5) 삭제하기

# 이름이 bobby인 사람 정보를 삭제
db.users.delete_one({'name': 'bobby'})

user = db.sers/find_one({'name': 'bobby'})
print(user)

 

6) 요약

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

 

 

11. 웹스크래핑 결과 저장하기

- 도큐먼트 만들어 하나씩 insert 하기

import requests
from bs4 import BeautifulSoup

# pymongo 기본 세팅
from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.55vah.mongodb.net/Cluster0?retryWrites=true&w=majority')
db = client.dbsparta

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
    # movie 안에 a 가 있으면,
    a_tag = movie.select_one('td.title > div > a')
    if a_tag is not None:
        rank = movie.select_one('td:nth-child(1) > img')['alt'] # img 태그의 alt 속성값을 가져오기
        title = a_tag.text                                      # a 태그 사이의 텍스트를 가져오기
        star = movie.select_one('td.point').text                # td 태그 사이의 텍스트를 가져오기
        
        #도큐먼트 만들어 하나씩 insert 하기
        doc = {
            'rank': rank,
            'title': title,
            'star': star
        }
        db.movies.insert_one(doc)

 

 

12. Quiz_웹스크래핑 결과 이용하기

- 영화제목 '가버나움'의 평점 가져오기

target_movie = db.movies.find_one({'title': '가버나움'})
print(target_movie['star'])

 

- '가버나움'의 평점과 같은 평점의 영화 제목들을 가져오기

target_movie = db.movies.find_one({'title': '가버나움'})
target_star = target_movie['star']

movies = list(db.movies.find({'star': target_star}))

for movie in movies:
   print(movie['title'])

 

- '가버나움' 영화의 평점을 0으로 만들기

db.movies.update_one({'title': '가버나움'}, {'$set': {'star': '0'}})

 

 

13. 3주차 숙제

- 지니뮤직의 1~50위 곡 스크래핑 하기(순위/제목/가수)

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in trs:
    title = tr.select_one('td.info > a.title.ellipsis').text.strip()
    rank = tr.select_one('td.number').text[0:2].strip()
    artist = tr.select_one('td.info > a.artist.ellipsis').text
    print(rank, title, artist)

*strip 함수는 문자열이나 공백 제거 함수