40대 파이썬 독학 13편: 파이썬 웹 크롤링 기초와 데이터 수집 자동화
지난 12편에서 작업 스케줄러를 통해 엑셀 자동화의 완벽한 무인 시스템을 구축하셨다면, 이제는 파이썬 웹 크롤링 기술을 활용하여 내 컴퓨터 안방에 있는 엑셀 파일을 다루는 것을 넘어 집 밖(인터넷)에 있는 방대한 …
지난 12편에서 작업 스케줄러를 통해 엑셀 자동화의 완벽한 무인 시스템을 구축하셨다면, 이제는 파이썬 웹 크롤링 기술을 활용하여 내 컴퓨터 안방에 있는 엑셀 파일을 다루는 것을 넘어 집 밖(인터넷)에 있는 방대한 …
지난 11편에서 바탕화면에 톱니바퀴 모양의 배치(bat) 파일을 만들어 마우스 더블클릭 한 번으로 엑셀 코드를 실행하는 반자동화(Semi-automation)를 이루셨습니다. 하지만 여기서 만족한다면 진짜 실무 코딩이 아닙니다. 이번 12편에서는 대망의 파이썬 작업 스케줄러 …
파이썬 bat 파일 기술을 실무에 적용하면, 매일 반복되는 엑셀 데이터 취합과 이메일 발송 작업을 위해 무거운 코딩 프로그램을 켤 필요 없이 바탕화면 아이콘 더블클릭 한 번으로 모든 업무를 종료할 수 …
직장 생활 중 가장 많은 야근을 유발하는 원인 중 하나인 복잡한 데이터 정리, 이제 챗GPT 엑셀 함수 활용법만 알면 골치 아픈 수식을 억지로 외울 필요가 없습니다. “A열에 있는 거래처 이름이랑 …
지난 8편에서는 결측치를 처리하며 파이썬 엑셀 필터링을 위한 깨끗한 마스터 데이터를 완성했습니다. 빈칸이 모두 채워진 수십 개의 방역 점검 대장이 하나의 거대한 엑셀 파일로 뭉쳐져 있는 상태입니다. 데이터 정제라는 큰 …
지난 7편에서는 openpyxl 라이브러리를 활용하여 폴더 안에 흩어져 있는 수십 개의 엑셀 파일을 병합하고 파이썬 엑셀 빈칸 없애기를 준비하는 마법 같은 기술을 구현했습니다.”. 손목이 시큰거리도록 복사하고 붙여넣던 단순 노가다에서 드디어 …
챗GPT 엑셀 분석을 활용하면 매월 말일 복잡한 데이터와 씨름하는 모든 직장인들이 함수나 피벗 테이블 없이도 완벽한 보고서를 1분 만에 완성할 수 있습니다.매월 말일이 다가오면 사무실의 공기는 무거워집니다. 영업팀은 이번 달 …
지난 16편에서 우리는 웹 크롤링으로 여러 지역의 방역 현장 날씨를 수집하고 엑셀로 저장하는 놀라운 코드를 완성했습니다. 하지만 실무에 이 코드를 도입하려고 하면 곧바로 거대한 장벽에 부딪힙니다. 바로 팀원들의 컴퓨터에는 ‘파이썬(Python)’이 …
지난 11편에서 우리는 파이썬 코드를 마우스 더블클릭 한 번으로 실행하는 ‘bat(배치) 파일’을 만들었습니다. 코딩 프로그램을 켤 필요가 없어지니 퇴근 준비가 훨씬 수월해졌죠. 하지만 사람의 욕심은 끝이 없습니다. 방역 현장 작업이 …
지난 10편까지 우리는 방역 점검 대장 엑셀 파일들을 합치고, 긴급 방역 현장을 필터링한 뒤, 오늘 날짜의 새 폴더를 만들어 깔끔하게 저장하는 파이썬 코드를 완성했습니다. 하지만 코드를 짰다고 자동화가 끝난 것은 …
