스프레드시트로 인스타그램 크롤링하기

인스타그램 팔로워 수치 증감 등 정리가 필요한 정보들을 처리하는 가장 좋은 방법은?
바로 스프레드시트에 받아놓고 쓰는 거죠~ (만능 스프레드시트…)

인스타그램과 페이스북은 데이터처리를 graphql 이라는 문법으로 처리하고 있는데 2022년 현재 인스타그램의 팔로워 등 정보를 크롤링하는 방법은 많지 않습니다.

유료 툴을 사용한다면 매월 10~20만원 정도 비용을 지불해야 하기도 하다보니 막연히 인스타그램 데이터를 잘 모으고는 싶은데 망설이게 됩니다.

인스타그램 정보 가져오는 방법 (유료툴 사용)

먼저 유료툴을 활용하는 경우입니다. 아무래도 일정 비용만 투여하면 매일 혹은 정해진 주기마다 인스타그램 팔로워등 데이터를 가져올 수 있는데다가 대부분 Facebook App 인증을 받기 때문에

광고 데이터도 같이 가져올 수 있는 장점이 있죠.

먼저 슈퍼 메트릭스 입니다.

정말 많은 데이터를 쉽게 가져올 수 있습니다. 스프레드시트에서는 addon을 통해 일별 보고서 세팅을 하기 용이하죠.
아무래도 외국꺼다보니… 가격은 달러로 받는데 요즘같은 고 달러 시대엔 조금 많이 부담스럽습니다.

두번 째는 Rapid API를 활용하는 방법입니다.

매우 다양한 종류의 API를 서비스 중이고 google add-on 중에서 API 연결을 도와주는 서비스를 활용하면 난이도는 낮은편입니다. 보통 사용료가 월 100회가 무료 2,000회부터 10달러 수준이기 때문에 개발지식이 좀 있다면 무난하게

정말 다양한 데이터를 수집할 수 있죠.

그래도 무료로 가져올 수 있는 방법이 더 좋다.

일단 100% 다 알려드리긴 어렵습니다. 그래도 수집하는 방법만 기억하시면 충분합니다.

1단계 : 인스타그램 로그인하기
일단 PC에서 자신의 인스타그램 계정에 로그인을 해주셔야 합니다. 주의하실 점은 다양한 계정으로 로그인한 디바이스는 피해주셔야 합니다. 100%까지는 아니더라도 앞으로 사용할 쿠키 데이터가 소멸될 가능성이 높아집니다.

2단계 : 우측 버튼 + ‘검사’ or F12 버튼
개발자 도구로 진입해주신 뒤 Network 탭으로 이동합니다.

3단계 : 새로고침 후 graphql 데이터를 찾습니다.
쉽게 찾는 방법은 컨트롤 + F 를 눌러서 (맥은 cmd+F) 나오는 검색창에 ‘graphql/query’를 검색해줍니다.

4단계 : userID를 찾아줍시다.
사용자 ID말고 숫자로된 고유값이 있습니다. user_id%22%3A%[사용자아이디]%22%2C%22
graphql의 전체 request 속에 대략 13자리 정도 숫자입니다.

5단계 : 이제 링크로 필요한 데이터의 ‘해시값’을 찾아야 합니다.
생각만 해도 너무 싫지만 followers 값은 ?query_hash=37479f2b8209594dde7facb0d904896a&variables=%7B%22id%22%3A%22 로 연결해서 요청하면 됩니다.

즉. /grphql/query/?query_hash=37479f2b8209594dde7facb0d904896a&variables=%7B%22id%22%3A%22[사용자아이디]%22%2C%22first%22%3A24%7D 로 요청하면 됩니다만 아직 1단계가 더 남아있습니다.

6단계 : 헤더에 넣을 쿠키값을 받아옵니다. (매우 중요!)
쿠키값은 스프레드시트 뿐만 아니라 파이썬 등에서 셀레니움을 활용할 때도 마찬가지로 매우 중요합니다. 쿠키 대조를 통해 인스타그램/페이스북은 로그인 없이 사용을 이어가게 해주며, 이는 최근 강화되고 있는 2채널 인증등으로 인해 크롤링이 어려워지는 점을 조금은 쉽게 만들어 주죠.

쿠키값은 5단계에서 찾은 Header 중에서 ‘Request Header’에 있습니다. 잘 모르겠다면 network 탭에 있는 전체 요청데이터를 쫙 긁어놓고 ‘cookie:’ 혹은 ‘ig_did’로 시작하는 방대한양의 문구를 찾아보면 좋습니다.