You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
[](https://colab.research.google.com/drive/1sEZBonBMGP44CtO6GQTwAlL0BGJXjtfd?usp=sharing)
29
31
30
32
31
33
## 📖 문서
32
34
33
-
ScrapeGraphAI에 대한 문서는 여기에서 찾을 수 있습니다.
35
+
ScrapeGraphAI에 대한 문서는 [여기](https://scrapegraph-ai.readthedocs.io/en/latest/)에서 찾을 수 있습니다.
34
36
35
-
또한 Docusaurus를 여기에서 확인해 보세요.
37
+
또한 Docusaurus를 [여기](https://scrapegraph-doc.onrender.com/)에서 확인해 보세요.
36
38
37
39
## 💻 사용법
38
40
39
-
웹 사이트(또는 로컬 파일)에서 정보를 추출하는 데 사용할 수 있는 세 가지 주요 스크래핑 파이프라인이 있습니다:
41
+
웹사이트(또는 로컬 파일)에서 정보를 추출하기 위해 사용할 수 있는 여러 표준 스크래핑 파이프라인이 있습니다:
42
+
-`SmartScraperGraph`: 사용자 프롬프트와 입력 소스만 필요로 하는 단일 페이지 스크래퍼입니다.
43
+
-`SearchGraph`: 검색 엔진의 상위 n개 검색 결과에서 정보를 추출하는 다중 페이지 스크래퍼입니다.
44
+
-`SpeechGraph`: 웹사이트에서 정보를 추출하고 오디오 파일을 생성하는 단일 페이지 스크래퍼입니다.
45
+
-`ScriptCreatorGraph`: 웹사이트에서 정보를 추출하고 Python 스크립트를 생성하는 단일 페이지 스크래퍼입니다.
46
+
47
+
-`SmartScraperMultiGraph`: 단일 프롬프트와 소스 목록을 사용하여 여러 페이지에서 정보를 추출하는 다중 페이지 스크래퍼입니다.
48
+
-`ScriptCreatorMultiGraph`: 단일 프롬프트와 소스 목록을 사용하여 여러 페이지에서 정보를 추출하는 Python 스크립트를 생성하는 다중 페이지 스크래퍼입니다.
40
49
41
-
SmartScraperGraph: 사용자 프롬프트와 입력 소스만 필요한 단일 페이지 스크래퍼;
42
-
SearchGraph: 검색 엔진의 상위 n개의 검색 결과에서 정보를 추출하는 다중 페이지 스크래퍼;
43
-
SpeechGraph: 웹 사이트에서 정보를 추출하고 오디오 파일을 생성하는 단일 페이지 스크래퍼.
44
-
SmartScraperMultiGraph: 단일 프롬프트를 사용하여 여러 페이지를 스크래핑하는 스크래퍼
45
-
OpenAI, Groq, Azure, Gemini와 같은 API를 통해 다양한 LLM을 사용할 수 있으며, Ollama를 사용하여 로컬 모델을 사용할 수도 있습니다.
50
+
**OpenAI**, **Groq**, **Azure**, **Gemini**와 같은 API를 통해 다양한 LLM을 사용할 수 있으며, **Ollama**를 사용하여 로컬 모델도 사용할 수 있습니다.
46
51
47
-
사례 1: 로컬 모델을 사용하는 SmartScraper
48
-
Ollama를 설치하고 ollama pull 명령을 사용하여 모델을 다운로드하세요.
52
+
### 사례 1: 로컬 모델을 사용하는 SmartScraper
53
+
[Ollama](https://ollama.com/)를 설치하고 **ollama pull** 명령을 사용하여 모델을 다운로드하세요.
49
54
50
55
```python
51
56
from scrapegraphai.graphs import SmartScraperGraph
@@ -54,19 +59,19 @@ graph_config = {
54
59
"llm": {
55
60
"model": "ollama/mistral",
56
61
"temperature": 0,
57
-
"format": "json", #Ollama는 형식을 명시적으로 지정해야 합니다
58
-
"base_url": "http://localhost:11434", #Ollama URL 설정
62
+
"format": "json", #Ollama needs the format to be specified explicitly
63
+
"base_url": "http://localhost:11434", # set Ollama URL
59
64
},
60
65
"embeddings": {
61
66
"model": "ollama/nomic-embed-text",
62
-
"base_url": "http://localhost:11434", # Ollama URL 설정
prompt="List me all the projects with their descriptions",
74
+
#also accepts a string with the already downloaded HTML code
70
75
source="https://perinim.github.io/projects",
71
76
config=graph_config
72
77
)
@@ -78,15 +83,16 @@ print(result)
78
83
출력은 다음과 같이 프로젝트와 설명의 목록이 될 것입니다:
79
84
80
85
```python
81
-
{'projects': [{'title': 'Rotary Pendulum RL', 'description': 'RL 알고리즘을 사용하여 실제 회전 진자를 제어하는 오픈 소스 프로젝트'}, {'title': 'DQN Implementation from scratch', 'description': '간단한 및 이중 진자를 훈련하기 위한 딥 Q-네트워크 알고리즘 개발'}, ...]}
82
-
사례 2: 혼합 모델을 사용하는 SearchGraph
83
-
우리는 LLM에 Groq를 사용하고, 임베딩에 Ollama를 사용합니다.
86
+
{'projects': [{'title': 'Rotary Pendulum RL', 'description': 'Open Source project aimed at controlling a real life rotary pendulum using RL algorithms'}, {'title': 'DQN Implementation from scratch', 'description': 'Developed a Deep Q-Network algorithm to train a simple and double pendulum'}, ...]}
84
87
```
85
88
89
+
### 사례 2: 혼합 모델을 사용하는 SearchGraph
90
+
우리는 LLM에 **Groq**를 사용하고, 임베딩에 **Ollama**를 사용합니다.
91
+
86
92
```python
87
93
from scrapegraphai.graphs import SearchGraph
88
94
89
-
#그래프 구성 정의
95
+
#Define the configuration for the graph
90
96
graph_config = {
91
97
"llm": {
92
98
"model": "groq/gemma-7b-it",
@@ -95,28 +101,30 @@ graph_config = {
95
101
},
96
102
"embeddings": {
97
103
"model": "ollama/nomic-embed-text",
98
-
"base_url": "http://localhost:11434", #Ollama URL 임의 설정
로드맵을 더 인터랙티브하게 시각화하고 싶으신가요? markdown 내용을 편집기에 복사하여 markmap 시각화를 확인하세요!
181
+
다음 기능들을 작업하고 있습니다! 협업에 관심이 있으시면 해당 기능을 마우스 오른쪽 버튼으로 클릭하여 새 탭에서 PR을 작성해주세요. 의문사항이 있거나 논의하고 싶다면 [Discord](https://discord.gg/uJN7TYcpNa)에서 저희에게 연락하거나 Github의 [Discussion](https://github.com/VinciGit00/Scrapegraph-ai/discussions) 페이지를 열어주세요!
| Marco Vinciguerra |[](https://www.linkedin.com/in/marco-vinciguerra-7ba365242/)|
231
+
| Marco Perini |[](https://www.linkedin.com/in/perinim/)|
232
+
| Lorenzo Padoan |[](https://www.linkedin.com/in/lorenzo-padoan-4521a2154/)|
202
233
203
234
## 📜 라이선스
204
235
205
-
ScrapeGraphAI는 MIT License로 라이선스가 부여되었습니다. 자세한 내용은 LICENSE 파일을 참조하세요.
236
+
ScrapeGraphAI는 MIT License로 배포되었습니. 자세한 내용은 [LICENSE](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/LICENSE) 파일을 참조하세요.
206
237
207
-
감사의 말
238
+
## 감사의 말
208
239
209
-
프로젝트에 기여한 모든 분들과 오픈 소스 커뮤니티에 감사드립니다.
210
-
ScrapeGraphAI는 데이터 탐색 및 연구 목적으로만 사용되어야 합니다. 우리는 라이브러리의 오용에 대해 책임을 지지 않습니다.
240
+
-프로젝트에 기여한 모든 분들과 오픈 소스 커뮤니티에 감사드립니다.
241
+
-ScrapeGraphAI는 데이터 탐색 및 연구 목적으로만 사용되어야 합니다. 우리는 라이브러리의 오용에 대해 책임을 지지 않습니다.
0 commit comments