반응형 전체 글366 [파이썬] 크롤링 하는 방법들 업무나 데이터를 모아 전처리를 위해 작업하시는 분들이 많으실 텐데요. 웹에서 데이터를 받기위한 방법은 여러가지가 있습니다. 1. html 을 이용하는 방법 requests 모듈로 페이지 정보를 요청하고 뷰슙으로 html 구문분석을 통해 import requests from bs4 import BeautifulSoup targetUrl = "타켓주소......" source_code = requests.get(targetUrl, allow_redirects=False) soup = Be autifulSoup(source_code.content, 'html.parser', from_encoding='utf-8') list_data = soup.find_all('li') for item in list_data.. 2022. 1. 3. [파이썬] 엑셀자료에 있는 사진URL 정보를 특정 폴더에 내려받기 복잡하고 어려운 스크립트 보다는 간단한데 간간히 써먹을 만한 스크립트를 간간히 올릴까 합니다. 흔한 일은 아니지만 엑셀에서 사진 또는 파일을 받아야 할 경우가 있습니다. 적으면 손으로 작업해도 되겠지만. 많으면 힘들겠죠. 대충 아래와 같은 예제가 있다면. 1. 엑셀을 파일을 읽어 리스트를 만든다. 2. 엑셀의 첫열은 사진의 이름으로 만든다. 3. 엑셀의 링크에서 사진파일을 얻어 저장할 폴더에 넣는다. 3가지 단계로 진행하면 되겠죠. wget 와 openpyxl 라이브러리를 내장 모듈 아니기에 미리 설치합니다. pip install wget pip install openpyxl 소스코드를 작성해보면 # wget , openpyxl, time을 import 해줍니다. import wget # 다운로드 imp.. 2022. 1. 1. cmd 명렁어로 폴더안에 파일리스트 만들기 경로없이 모든 파일 목록 생성 dir/b > list.txt 경로없이 선택적 확장자 파일 목록 생성 dir /b *.xlsx >> list.txt 경로와 함께 선택적 확장자 파일 목록 생성 dir /s/b *.xlsx >> list.txt 2021. 12. 30. [파이썬] 유튜브 플레이리스트 내용 다운받기 youtube_dl 라이브러리를 이용하여 플레이리스트 내용을 다운 받을 수 있다. 해당라이브러리의 옵션의 자세한 내용은 http://ytdl-org.github.io/youtube-dl/ 에서 확인 가능하다. from __future__ import unicode_literals import textwrap import youtube_dl playlists = [ "https://www.youtube.com/watch?v=0-q1KafFCLU&list=RDCLAK5uy_keiEJYbZRRLEHxmrEceD9WGxdtBU8SK-o&start_radio=1" ] for playlist in playlists: with youtube_dl.YoutubeDL({"ignoreerrors": True, "quiet.. 2021. 12. 18. [파이썬] openpyxl 로 엑셀읽기 import openpyxl as xl baroyo_wb = xl.load_workbook("엑셜명.xlsx", data_only=True) baroyo_ws = baroyo_wb.worksheets[0] #첫번째시트 for t in tex_ws.rows: tump = str(t[0].value) print(tump) openpyxl 첫번째 시트의 첫번째 열값의 모든 행을 가져오는 코드. 2021. 12. 16. [파이썬] 기상청 지상 날씨 일별 자료 조회하기. data.go.kr 에서 "기상청_지상(종관, ASOS) 일자료 조회서비스" 검색한다음 활용 신청을 합니다. 요청변수(Request Parameter) 항목명(국문)항목명(영문)항목크기항목구분샘플데이터항목설명 서비스키 ServiceKey 4 필수 - 공공데이터포털에서 받은 인증키 페이지 번호 pageNo 4 옵션 1 페이지번호 Default : 1 한 페이지 결과 수 numOfRows 4 옵션 10 한 페이지 결과 수 Default : 10 응답자료형식 dataType 4 옵션 XML 요청자료형식(XML/JSON) Default : XML 자료 코드 dataCd 4 필수 ASOS 자료 분류 코드(ASOS) 날짜 코드 dateCd 3 필수 DAY 날짜 분류 코드(DAY) 시작일 startDt 8 필수 20.. 2021. 12. 15. [파이썬] Youtue 동영상에서 음원만 추출하기 from __future__ import unicode_literals import youtube_dl def downYoutubeMp3(url): ydl_opts = { 'format': 'bestaudio/best', 'postprocessors': [{ 'key': 'FFmpegExtractAudio', 'preferredcodec': 'mp3', 'preferredquality': '192', }], } with youtube_dl.YoutubeDL(ydl_opts) as ydl: ydl.download([url]) if __name__ == '__main__': downYoutubeMp3("동영상링크") youtube_dl 라이브러리를 이용한다. 위 코드를 잘 이용하면 엑셀문서에 링크를 정리해서.. 2021. 12. 14. [라즈베리파이] 라즈베리파이 OS 마이크로 SD CARD 만들기. 데비안을 기반으로하는 라즈베리파이 OS 만드는 방법입니다. https://www.raspberrypi.com/software/ Raspberry Pi OS – Raspberry Pi From industries large and small, to the kitchen table tinkerer, to the classroom coder, we make computing accessible and affordable for everybody. www.raspberrypi.com 위 사이트에 접속합니다. Download for Windows 를 클릭하여 프로그램을 다운 받습니다. 설치한후 프로그램일 실행합니다. CHOOSE OS를 선택합니다. 설치할 수 있는 여러가지 OS가 나타납니다. 용도에 따라 여러가지.. 2021. 12. 13. 이전 1 2 3 4 5 6 7 ··· 46 다음 반응형
