크롤링이란?
[크롤링이란?] 인터넷에 데이터가 방대해지면서 우리는 그걸 활용할 필요성이 높아졌습니다. 그런 정보들을 우리가 분석하기 쉽고 활용하기 쉽게 끔 데이터를 수집하는 행위를 크롤링(Crawling) 이라고 하고 크롤링하는 프로그램을 크롤러(Crawler) 라고 합니다. 원하는 데이터를 추출하는 스크래핑(Scraping)과 개념이 혼동되기도 하는데요.사실 크롤링의 정확한 정의는 다양한 웹사이트의 페이지를 브라우징하는 작업을 말합니다.그런데 사실상 정보를 수집하기 위해선 브라우징만 하지 않죠. 페이지 안에 있는 데이터를 추출해서 가공하는게 대부분 최종 목표입니다.결국 크롤링 => 스크래핑의 과정으로 넘어가는 거죠.그래서 이 두 개념이 혼용되는 것 같습니다. 해외에서는 주로 스크래핑이라고 쓰는 걸로 알고 있습니다...
Data Science/크롤링 & 텍스트마이닝
2018. 10. 30. 23:20
최근에 올라온 글
TAG
- softmax
- 크롤러
- Machine Learning
- 백준
- 재귀
- Crawling
- Express
- logistic regression
- 크롤링
- LR
- Crawler
- neural network
- 머신러닝
- Linear Regression
- Queue
- query string
- 딥러닝
- 알고리즘
- DFS
- BFS
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
공지사항
최근에 달린 댓글