Curry Γ© um WebCrawler escrito em Golang com finalidade de verificar o valor do cΓ’mbio de DΓ³lar para Real (USDxBRL) em algumas lojas no Paraguay.
- β Web Crawler.
- β API JSON Endpoint.
- β In-Memory Cache.
- β Scheduler.
- β SQLite Database to keep history.
- β Custom settings.
- β Easy to add new spiders.
Para utilizar, basta seguir os passos abaixo:
git clone https://github.com/bitebait/curry.git
cd curry/
go run .
Exemplo de saida do terminal:
ββββββββββ ββββββββββ βββββββ βββ βββ
βββββββββββ βββββββββββββββββββββββ ββββ
βββ βββ βββββββββββββββββββ βββββββ
βββ βββ βββββββββββββββββββ βββββ
ββββββββββββββββββββ ββββββ βββ βββ
βββββββ βββββββ βββ ββββββ βββ βββ
2021/11/27 19:06:00 Running and Listening on :8000
2021/11/27 19:06:00 API Endpoint: /api
2021/11/27 19:06:01 Running crawler...
...
2021/11/27 19:06:09 FINISHED: 30 of 30 urls visited.
2021/11/27 19:06:09 CRAWLER function took 8.403559105s.
Agora basta acessar http://127.0.0.1:8000/api. Caso tenha alterado o endpoint favor verifique o log de saida do terminal ou o arquivo config.yml.
API Json Result:
{
"createdAt": "2021-11-27T15:21:06.343499301-03:00",
"items": [
{
"name": "example_store1",
"currency": "BRL",
"value": "5.7",
"url": "https://www.example_store1.com/"
},
{
"name": "example_store2",
"currency": "BRL",
"value": "5.72",
"url": "https://www.example_store2.com/"
}
]
}
config.yml:
api:
port: 8000 # api listen port
endpoint: /api # api endpoint
db:
file_name: database.db # sqlite file name
cache:
max_age: 12 # Refresh cache every 12 hours
currency:
currency: BRL # Don't change
π·οΈ Para mais informaçáes sobre spiders disponΓveis e como adicionar uma nova spider, de uma olhada em /spiders e func NewSpider().
- alboradainfo
- aromastore
- atacadocollections
- atacadoconnect
- audiumelectronics
- bonanzacambios
- cambioschaco
- digitalcenterpy
- cellshop
- comprasparaguai
- dolarpy
- gabahobby
- hbgames
- icompy
- infinitysport
- lgimportados
- madridcenter
- megaeletro
- megaeletronicos
- mercosurcambios
- mundodocelular
- oneclick
- pioneerinter
- probook
- shoppingcentropioneer
- tcheloco
- tecombras
- topdek
- victoriastore
- visaovip
- Qualquer uso do script Γ© de responsabilidade apenas do usuΓ‘rio. Os usuΓ‘rios do script devem agir de acordo com os termos dos sites acessados.
- Como acontece com todos os sites, a estrutura do site pode mudar no futuro e, portanto, como costuma acontecer com scripts de scraping, descontinue-o. NΓ£o Γ© realmente uma questΓ£o de saber se o cΓ³digo-fonte do site irΓ‘ mudar, mas sim quando (entΓ£o aproveite enquanto ainda estΓ‘ funcionando)
Todo o conteΓΊdo apresentado nos sites pertence aos criadores originais.
A licença abaixo se refere apenas ao script e não ao conteúdo scrapado.