Skip to content

Commit 98cf5f1

Browse files
VinciGit00VinciGit00
authored
Merge branch 'pre/beta' into main
2 parents 5dfda11 + af901a5 commit 98cf5f1

File tree

6 files changed

+304
-14
lines changed

6 files changed

+304
-14
lines changed

‎CHANGELOG.md

Lines changed: 37 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,10 +1,47 @@
11
## [1.30.0](https://github.com/ScrapeGraphAI/Scrapegraph-ai/compare/v1.29.0...v1.30.0) (2024-11-06)
22

3+
## [1.30.0-beta.5](https://github.com/ScrapeGraphAI/Scrapegraph-ai/compare/v1.30.0-beta.4...v1.30.0-beta.5) (2024-11-18)
4+
5+
6+
### Bug Fixes
7+
8+
* try to infer possible provider from the model name, resolves [#805](https://github.com/ScrapeGraphAI/Scrapegraph-ai/issues/805) ([d2d0312](https://github.com/ScrapeGraphAI/Scrapegraph-ai/commit/d2d0312dc618fde305e650981cac90add93ec552))
9+
10+
## [1.30.0-beta.4](https://github.com/ScrapeGraphAI/Scrapegraph-ai/compare/v1.30.0-beta.3...v1.30.0-beta.4) (2024-11-16)
11+
12+
13+
### Bug Fixes
14+
15+
* generate answer node ([49897c4](https://github.com/ScrapeGraphAI/Scrapegraph-ai/commit/49897c4d2ee9950438d99dda6987bc8ba402a6ad))
16+
17+
## [1.30.0-beta.3](https://github.com/ScrapeGraphAI/Scrapegraph-ai/compare/v1.30.0-beta.2...v1.30.0-beta.3) (2024-11-15)
18+
19+
20+
### Features
21+
22+
* refactoring of generate answer node ([1f465e6](https://github.com/ScrapeGraphAI/Scrapegraph-ai/commit/1f465e636d2869e4e36555124767de026d3a66ae))
23+
24+
## [1.30.0-beta.2](https://github.com/ScrapeGraphAI/Scrapegraph-ai/compare/v1.30.0-beta.1...v1.30.0-beta.2) (2024-11-09)
25+
26+
27+
### Bug Fixes
28+
29+
* fix generate answer node ([d332e21](https://github.com/ScrapeGraphAI/Scrapegraph-ai/commit/d332e216db15e48ca4163a9f74818c4c6874568c))
30+
31+
32+
### Docs
33+
34+
* Improved Turkish README ([f665138](https://github.com/ScrapeGraphAI/Scrapegraph-ai/commit/f665138b3dc2597088ca2c6a2e8be6cc4ce956d2))
35+
36+
## [1.30.0-beta.1](https://github.com/ScrapeGraphAI/Scrapegraph-ai/compare/v1.29.0...v1.30.0-beta.1) (2024-11-05)
37+
338

439
### Features
540

641
* update chromium ([38c6dd2](https://github.com/ScrapeGraphAI/Scrapegraph-ai/commit/38c6dd2aa1ce31b981eb8c35a56e9533d19df81b))
742

43+
* Turkish language support has been added to README.md ([60f673d](https://github.com/ScrapeGraphAI/Scrapegraph-ai/commit/60f673dc39cba70706291e11211b9ad180860e24))
44+
845
## [1.29.0](https://github.com/ScrapeGraphAI/Scrapegraph-ai/compare/v1.28.0...v1.29.0) (2024-11-04)
946

1047

‎README.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -2,7 +2,7 @@
22
# 🕷️ ScrapeGraphAI: You Only Scrape Once
33
[English](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/README.md) | [中文](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/chinese.md) | [日本語](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/japanese.md)
44
| [한국어](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/korean.md)
5-
| [Русский](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/russian.md)
5+
| [Русский](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/russian.md) | [Türkçe](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/turkish.md)
66

77

88
[![Downloads](https://img.shields.io/pepy/dt/scrapegraphai?style=for-the-badge)](https://pepy.tech/project/scrapegraphai)

‎docs/turkish.md

Lines changed: 203 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,203 @@
1+
# 🕷️ ScrapeGraphAI: Yalnızca Bir Kez Kazıyın
2+
3+
[English](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/README.md) | [中文](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/chinese.md) | [日本語](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/japanese.md)
4+
| [한국어](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/korean.md)
5+
| [Русский](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/russian.md) | [Türkçe](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/turkish.md)
6+
7+
[![İndirmeler](https://img.shields.io/pepy/dt/scrapegraphai?style=for-the-badge)](https://pepy.tech/project/scrapegraphai)
8+
[![linting: pylint](https://img.shields.io/badge/linting-pylint-yellowgreen?style=for-the-badge)](https://github.com/pylint-dev/pylint)
9+
[![Pylint](https://img.shields.io/github/actions/workflow/status/VinciGit00/Scrapegraph-ai/pylint.yml?label=Pylint&logo=github&style=for-the-badge)](https://github.com/VinciGit00/Scrapegraph-ai/actions/workflows/pylint.yml)
10+
[![CodeQL](https://img.shields.io/github/actions/workflow/status/VinciGit00/Scrapegraph-ai/codeql.yml?label=CodeQL&logo=github&style=for-the-badge)](https://github.com/VinciGit00/Scrapegraph-ai/actions/workflows/codeql.yml)
11+
[![Lisans: MIT](https://img.shields.io/badge/License-MIT-yellow.svg?style=for-the-badge)](https://opensource.org/licenses/MIT)
12+
[![](https://dcbadge.vercel.app/api/server/gkxQDAjfeX)](https://discord.gg/gkxQDAjfeX)
13+
14+
ScrapeGraphAI, LLM ve grafik mantığını kullanarak web siteleri ve yerel belgeler (XML, HTML, JSON, Markdown vb.) için kazıma süreçleri oluşturan bir _web kazıma_ Python kütüphanesidir.
15+
16+
Sadece hangi bilgiyi çıkarmak istediğinizi söyleyin, kütüphane sizin için yapar!
17+
18+
<p align="center">
19+
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/sgai-hero.png" alt="ScrapeGraphAI Hero" style="width: 100%;">
20+
</p>
21+
22+
## 🚀 Hızlı Kurulum
23+
24+
Scrapegraph-ai için referans sayfası PyPI'nin resmi sayfasında mevcuttur: [pypi](https://pypi.org/project/scrapegraphai/).
25+
26+
```bash
27+
pip install scrapegraphai
28+
29+
playwright install
30+
```
31+
32+
**Not**: Diğer kütüphanelerle çakışmaları önlemek için kütüphaneyi sanal bir ortamda kurmanız önerilir 🐱
33+
34+
<details>
35+
<summary><b>Opsiyonel Bağımlılıklar</b></summary>
36+
Kütüphaneyi kurarken ek bağımlılıklar ekleyebilirsiniz:
37+
38+
- **Daha Fazla Dil Modeli**: Fireworks, Groq, Anthropic, Hugging Face ve Nvidia AI Endpoints gibi ek dil modelleri kurulur.
39+
40+
Bu grup, Fireworks, Groq, Anthropic, Together AI, Hugging Face ve Nvidia AI Endpoints gibi ek dil modellerini kullanmanızı sağlar.
41+
42+
```bash
43+
pip install scrapegraphai[other-language-models]
44+
```
45+
46+
- **Semantik Seçenekler**: Graphviz gibi gelişmiş semantik işleme araçlarını içerir.
47+
48+
```bash
49+
pip install scrapegraphai[more-semantic-options]
50+
```
51+
52+
- **Tarayıcı Seçenekleri**: Browserbase gibi ek tarayıcı yönetim araçları/hizmetlerini içerir.
53+
54+
```bash
55+
pip install scrapegraphai[more-browser-options]
56+
```
57+
58+
</details>
59+
60+
## 💻 Kullanım
61+
62+
Web sitesinden (veya yerel dosyadan) bilgi çıkarmak için kullanılabilecek birden fazla standart kazıma süreci vardır.
63+
64+
En yaygın olanı `SmartScraperGraph`'tır; bu, bir kullanıcı isteği ve kaynak URL'si verildiğinde tek bir sayfadan bilgi çıkarır.
65+
66+
```python
67+
import json
68+
from scrapegraphai.graphs import SmartScraperGraph
69+
70+
# Kazıma süreci için yapılandırmayı tanımlayın
71+
graph_config = {
72+
"llm": {
73+
"api_key": "SİZİN_OPENAI_API_ANAHTARINIZ",
74+
"model": "openai/gpt-4o-mini",
75+
},
76+
"verbose": True,
77+
"headless": False,
78+
}
79+
80+
# SmartScraperGraph örneğini oluşturun
81+
smart_scraper_graph = SmartScraperGraph(
82+
prompt="Şirketin ne yaptığı, adı ve bir iletişim e-postası hakkında bazı bilgiler bulun.",
83+
source="https://scrapegraphai.com/",
84+
config=graph_config
85+
)
86+
87+
# Süreci çalıştırın
88+
result = smart_scraper_graph.run()
89+
print(json.dumps(result, indent=4))
90+
```
91+
92+
Çıktı aşağıdaki gibi bir sözlük olacaktır:
93+
94+
```python
95+
{
96+
"company": "ScrapeGraphAI",
97+
"name": "ScrapeGraphAİ LLM kullanarak web sitelerinden ve yerel belgelerden içerik çıkarma",
98+
"contact_email": "[email protected]"
99+
}
100+
```
101+
102+
Birden fazla sayfadan bilgi çıkarmak, Python scriptleri oluşturmak veya hatta ses dosyaları oluşturmak için kullanılabilecek diğer süreçler de vardır.
103+
104+
| Süreç Adı | Açıklama |
105+
| ----------------------- | -------------------------------------------------------------------------------------------------------- |
106+
| SmartScraperGraph | Sadece bir kullanıcı isteği ve bir kaynak girişi gerektiren tek sayfalık kazıyıcı. |
107+
| SearchGraph | Bir arama motorunun en iyi n arama sonucundan bilgi çıkaran çok sayfalı kazıyıcı. |
108+
| SpeechGraph | Bir web sitesinden bilgi çıkaran ve bir ses dosyası oluşturan tek sayfalık kazıyıcı. |
109+
| ScriptCreatorGraph | Bir web sitesinden bilgi çıkaran ve bir Python scripti oluşturan tek sayfalık kazıyıcı. |
110+
| SmartScraperMultiGraph | Tek bir bilgi istemi ve kaynak listesi verilen birden çok sayfadan bilgi ayıklayan çok sayfalı kazıyıcı. |
111+
| ScriptCreatorMultiGraph | Birden fazla sayfa veya kaynaktan bilgi çıkarmak için bir Python scripti oluşturan çok sayfalı kazıyıcı. |
112+
113+
Bu süreçlerin her biri için çoklu versiyon vardır. Bu, LLM çağrılarını paralel olarak yapmanızı sağlar.
114+
115+
**OpenAI**, **Groq**, **Azure** ve **Gemini** gibi API'ler aracılığıyla farklı LLM'leri kullanmak veya **Ollama** kullanarak yerel modelleri kullanmak mümkündür.
116+
117+
Yerel modelleri kullanmak istiyorsanız, [Ollama](https://ollama.com/) kurulu olduğundan ve **ollama pull** komutunu kullanarak modelleri indirdiğinizden emin olun.
118+
119+
## 🔍 Demo
120+
121+
Resmi Streamlit demosu:
122+
123+
[![My Skills](https://skillicons.dev/icons?i=react)](https://scrapegraph-ai-web-dashboard.streamlit.app)
124+
125+
Google Colab kullanarak doğrudan web üzerinde deneyin:
126+
127+
[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1sEZBonBMGP44CtO6GQTwAlL0BGJXjtfd?usp=sharing)
128+
129+
## 📖 Dokümantasyon
130+
131+
ScrapeGraphAI dokümantasyonuna [buradan](https://scrapegraph-ai.readthedocs.io/en/latest/) ulaşabilirsiniz.
132+
133+
Ayrıca Docusaurus'a [buradan](https://scrapegraph-doc.onrender.com/) göz atın.
134+
135+
## 🏆 Sponsorlar
136+
137+
<div style="text-align: center;">
138+
<a href="https://2ly.link/1zaXG">
139+
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/browserbase_logo.png" alt="Browserbase" style="width: 10%;">
140+
</a>
141+
<a href="https://2ly.link/1zNiz">
142+
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/serp_api_logo.png" alt="SerpAPI" style="width: 10%;">
143+
</a>
144+
<a href="https://2ly.link/1zNj1">
145+
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/transparent_stat.png" alt="Stats" style="width: 15%;">
146+
</a>
147+
<a href="https://scrape.do">
148+
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/scrapedo.png" alt="Stats" style="width: 11%;">
149+
</a>
150+
</div>
151+
152+
## 🤝 Katkıda Bulunun
153+
154+
Projeye katkıda bulunmaktan çekinmeyin ve geliştirmeleri tartışmak ve bize önerilerde bulunmak için Discord sunucumuza katılın!
155+
156+
Lütfen [katkıda bulunma yönergelerine](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/CONTRIBUTING.md) bakın.
157+
158+
[![My Skills](https://skillicons.dev/icons?i=discord)](https://discord.gg/uJN7TYcpNa)
159+
[![My Skills](https://skillicons.dev/icons?i=linkedin)](https://www.linkedin.com/company/scrapegraphai/)
160+
[![My Skills](https://skillicons.dev/icons?i=twitter)](https://twitter.com/scrapegraphai)
161+
162+
## 📈 Telemetri
163+
164+
Paketimizin kalitesini ve kullanıcı deneyimini geliştirmek amacıyla anonim kullanım metrikleri topluyoruz. Bu veriler, iyileştirmelere öncelik vermemize ve uyumluluğu sağlamamıza yardımcı olur. İsterseniz, SCRAPEGRAPHAI_TELEMETRY_ENABLED=false ortam değişkenini ayarlayarak devre dışı bırakabilirsiniz. Daha fazla bilgi için lütfen [buraya](https://scrapegraph-ai.readthedocs.io/en/latest/scrapers/telemetry.html) bakın.
165+
166+
## ❤️ Katkıda Bulunanlar
167+
168+
[![Katkıda Bulunanlar](https://contrib.rocks/image?repo=VinciGit00/Scrapegraph-ai)](https://github.com/VinciGit00/Scrapegraph-ai/graphs/contributors)
169+
170+
## 🎓 Atıflar
171+
172+
Kütüphanemizi araştırma amaçlı kullandıysanız, lütfen bizi aşağıdaki referansla alıntılayın:
173+
174+
```text
175+
@misc{scrapegraph-ai,
176+
author = {Marco Perini, Lorenzo Padoan, Marco Vinciguerra},
177+
title = {Scrapegraph-ai},
178+
year = {2024},
179+
url = {https://github.com/VinciGit00/Scrapegraph-ai},
180+
note = {A Python library for scraping leveraging large language models}
181+
}
182+
```
183+
184+
## Yazarlar
185+
186+
<p align="center">
187+
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/logo_authors.png" alt="Yazarlar Logosu">
188+
</p>
189+
190+
| | İletişim Bilgileri |
191+
| ----------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
192+
| Marco Vinciguerra | [![Linkedin Badge](https://img.shields.io/badge/-Linkedin-blue?style=flat&logo=Linkedin&logoColor=white)](https://www.linkedin.com/in/marco-vinciguerra-7ba365242/) |
193+
| Marco Perini | [![Linkedin Badge](https://img.shields.io/badge/-Linkedin-blue?style=flat&logo=Linkedin&logoColor=white)](https://www.linkedin.com/in/perinim/) |
194+
| Lorenzo Padoan | [![Linkedin Badge](https://img.shields.io/badge/-Linkedin-blue?style=flat&logo=Linkedin&logoColor=white)](https://www.linkedin.com/in/lorenzo-padoan-4521a2154/) |
195+
196+
## 📜 Lisans
197+
198+
ScrapeGraphAI, MIT Lisansı altında lisanslanmıştır. Daha fazla bilgi için [LİSANS](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/LICENSE) dosyasına bakın.
199+
200+
## Teşekkürler
201+
202+
- Projeye katkıda bulunan tüm katılımcılara ve açık kaynak topluluğuna destekleri için teşekkür ederiz.
203+
- ScrapeGraphAİ, yalnızca veri arama ve araştırma amacıyla kullanılmak üzere tasarlanmıştır. Kütüphanenin kötüye kullanılmasından sorumlu değiliz.

‎pyproject.toml

Lines changed: 3 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -2,7 +2,9 @@
22
name = "scrapegraphai"
33

44

5-
version = "1.30.0"
5+
6+
version = "1.30.0b5"
7+
68

79

810

‎scrapegraphai/graphs/abstract_graph.py

Lines changed: 12 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -144,9 +144,18 @@ def _create_llm(self, llm_config: dict) -> object:
144144
"ollama", "oneapi", "nvidia", "groq", "anthropic", "bedrock", "mistralai",
145145
"hugging_face", "deepseek", "ernie", "fireworks", "togetherai"}
146146

147-
split_model_provider = llm_params["model"].split("/", 1)
148-
llm_params["model_provider"] = split_model_provider[0]
149-
llm_params["model"] = split_model_provider[1]
147+
if '/' in llm_params["model"]:
148+
split_model_provider = llm_params["model"].split("/", 1)
149+
llm_params["model_provider"] = split_model_provider[0]
150+
llm_params["model"] = split_model_provider[1]
151+
else:
152+
possible_providers = [provider for provider, models_d in models_tokens.items() if llm_params["model"] in models_d]
153+
if len(possible_providers) <= 0:
154+
raise ValueError(f"""Provider {llm_params['model_provider']} is not supported.
155+
If possible, try to use a model instance instead.""")
156+
llm_params["model_provider"] = possible_providers[0]
157+
print((f"Found providers {possible_providers} for model {llm_params['model']}, using {llm_params['model_provider']}.\n"
158+
"If it was not intended please specify the model provider in the graph configuration"))
150159

151160
if llm_params["model_provider"] not in known_providers:
152161
raise ValueError(f"""Provider {llm_params['model_provider']} is not supported.

0 commit comments

Comments
 (0)