Python31 [Python] 크롤링-starbucks 음류수 종류 - csv 이번시간에는 스타벅스 음류수 총 매뉴를 크롤링 해보겠습니다. 해당 문서는 글쓴이가 문법이 해깔리거나 패턴이 해깔릴 경우를 위해 작성하였으므로 가독성이 없을 수 있습니다 . import requests import csv from bs4 import BeautifulSoup from selenium import webdriver 1. (request) html 소스 불러오기 2. (csv) csv파일 생성 3. (bs4) 크롤링 도구 4. (selenim) 웹 드라이버 지난 시간에 웹 드라이버를 사용하지 않고 크롤링을 했는데요 스타벅스는 웹 드라이버를 사용해서 크롤링 하겠습니다. Why 웹드라이버를 사용할까?? selenium은 동적 페이지를 분석하는데 사용하고 bs4는 정적 페이지를 분석하는데 사용합니다.. 2020. 7. 3. [Python] 크롤링-billboard 차트 - csv 이번시간에는 billboard사이트의 순위와 곡 제목 , 아티스트 정보를 크롤링 하는 글을 작성하겠습니다. import requests import csv from bs4 import BeautifulSoup 1. import requests는 html 소스코드를 가져오기 위해서 합니다. 2. csv는 정보 추출이 끝나면 csv파일로 변환 하기 위해 사용합니다. 3. bs4는 requests로 추출한 내용에서 원하는 정보를 찾기 위해 사용합니다. URL = "https://www.billboard.com/charts/hot-100" billboard_Info = [] html_code = requests.get(URL).text soup = BeautifulSoup(html_code, "html.pars.. 2020. 7. 2. [Python] asyncio asyncio(Asynchronous I/O는 비동기 프로그래밍을 위한 모듈이며 CUP 작업과 I/O를 병렬로 처리하게 해줌 동기(synchronous) 처리는 특정 작업이 끝나면 다음 작업을 처리하는 순차처리 방식이고, 비동기(asynchronous) 처리는 여러 작업을 처리하도록 예약한 뒤 작업이 끝나면 결과를 얻는 방식입니다. 1. asyncio 사용하기 네이트브 코루틴 만들기 파이썬에서는 제너레이터 기반의 코루틴과 구분하기 위해 async def로 만든 코루틴은 네이티브 코루틴이라고 합니다. async def 키워드는 파이썬 3.6 이상부터 사용 가능 import asyncio async def hello(): # async def로 네이티브 코루틴 생성 print("Hello world!") l.. 2020. 7. 2. [Python] coroutine (코루틴) 코루틴은 동시성! 이라고 한마디로 정의하겠습니다. 코루틴과 비슷한 개념은 함수입니다. 함수에는 return이 있죠. 코루틴에는 제너레이터에서 보았던 Yield가 있습니다. 그럼 동시성이라는 개념은 무엇일까요?? 코드로 보시죠 import time def coroutine_test(): greeting = "good " while True: text = (yield greeting) print("text = ", end=""), print(text) greeting += text if __name__ == "__main__": cr = coroutine_test() print("cr=", end=""), print(cr) next(cr) time.sleep(2) print("send 1") print(cr.. 2020. 6. 29. 이전 1 2 3 4 5 ··· 8 다음
