스파르타 내일배움캠프_본캠프_data11기 김선영_TIL_Day 73

[오늘의 학습]

• streamlit 복습
• API를 이용한 크롤링 녹강 듣기
• 라떼톡 미니세션
• 프로젝트 발제 전 채용공고 찾아보기

---

[학습내용 정리]

API를 이용한 크롤링 녹강 듣기

import requests
from pprint import pprint # json을 보기 좋은 형태로 변환해주는 라이브러리

# 검색어 설정
search_query = "데이터 분석"

# API 요청 URL
service_url = 'https://openapi.naver.com/v1/search/blog.json'

# API 요청 헤더 설정
headers = {
    'X-Naver-Client-Id' : client_id,
    'X-Naver-Client-Secret' : client_secret
}

# API 요청 파라미터
params = {
    'query' : search_query,
    'display' : 10,
    'start' : 1,
    'sort' : 'sim'
}

# HTTP GET 요청하기
response = requests.get(
    service_url,
    headers = headers,
    params = params
)

# API 결과 확인
# 응답코드 (200) => 성공적
print(response.status_code) 

blog_results = [] # pprint로 불러온 정보 중 필요한 것만 모으기 위함
if response.status_code == 200:
    result = response.json() # json 형태의 응답 텍스트 결과를 딕셔너리로 변환
    print("========== 크롤링 출력 ==========")
    pprint(result)

    # pprint로 불러온 정보 중 필요한 것만 모으기 위함
    for item in result['items']:
        blog = {
            'title' : item['title'],
            'link' : item['link'],
            'description' : item['description'],
            'postdate' : item['postdate'],
        }
        blog_results.append(blog)
        print(blog_results)
print('필요한 것만 출력한 것 개수: ', len(blog_results))

 

• 크롤링한 이미지 다운로드 받기 (직접 해보기)
  • image_url = image_results[n]['thumbnail']
    list인 image_results에서 url 하나씩 가져와서 다운로드 받기.
    ⚠️ image_results가 list여서 인덱스로 바로 접근해야 함. dtype 확인 필요했음.
    ⚠️ 별도 리스트에 담지 않아도 url 하나씩 처리하면 되니까, 크롤링 코드에서 blog_results=[] 처럼 별도 리스트 만들지 않아도 됨.

for n in range(10) :
    image_url = image_results[n]['thumbnail']
    response = requests.get(image_url)
    # print(response)

    if response.status_code == 200 :
        with open(f"downloaded_img/downloaded_image_{n}.jpg", "wb") as f:
            f.write(response.content)
        print("이미지 다운로드 완료!")
    else :
        print(f"다운로드 실패. 상태코드 {response.status_code}")

---

실전프로젝트(4차 프로젝트) 전 DA 채용공고 찾아보기

• 컬리(https://zighang.com/recruitment/cae952e1-ad2e-4b62-ae5e-5f197856639c)
  - sql, 태블로, python
  - git, Airflow
• 토스증권(https://zighang.com/recruitment/fd3e241b-a415-456d-863d-61bc8684a91a)
  - 전사목표 수립하고 추적하는 역량 - 태스크 관리, 업무 우선순위 관리
  - sql, python
  - A/B test, 커뮤니케이션
  - 시각화 툴(태블로)
• 우아한 형제들(https://zighang.com/recruitment/0fcdcaeb-182f-45c4-bb80-515fdcc47e1d)
  - sql
  - kpi 성과 추적
  - 유관부서와의 협업
  - Redash, Tableau(우대사항), Google Spreadsheet, Airflow 등을 활용한 대시보드 구성/자동화 경험이 있는 분
  - LTV, Cohort, 퍼널 분석, A/B 테스트 등 고도화된 분석 기법 경험
• 무신사(https://zighang.com/recruitment/12d5dcde-f87f-4e14-890e-726ccc656ef0)
  - SQL
  - KPI 정의 및 데이터 기반 성과 분석/해석 경험
  - Tableau, Power BI 등 데이터 시각화 도구 활용 경험

<채용공고 요구 주요역량>

• 협업 + 커뮤니케이션 + 업무관리
  - 엑셀(일정관리, 이슈관리, 데이터정의, 전처리 등)
  - git
  - Airflow
  - (부) PPT 제작 시 용어 설명 추가
• 능력
  - SQL
  - Python
  - 태블로 (streamlit 확장?)
• 분석 및 검증능력
  - LTV, Cohort, 퍼널 분석, A/B 테스트 등 고도화된 분석 기법 경험
  - KPI 정의 및 데이터 기반 성과 분석&해석

---

[내일의 학습]

• 실전프로젝트 시작!
• 10:00-11:00 최종 프로젝트 발제
• 19:00-21:00 이커머스 도메인에 대한 이해 5회차