트랜스포머 아키텍처 정리




## 변화가 유일한 상수인 세상에서, 우리가 AI 모델에 지속적 학습 접근 방식이 필요한 이유

![image](/assets/img/2024-08-03-AImodelshaveanexpirydateContinualLearningmaybeananswer_0.png)

당신이 정원을 돌아다니며 식물에 물을 주는 작은 로봇을 가지고 있다고 상상해봅시다. 처음에는 몇 주 동안 데이터를 수집하여 로봇을 훈련하고 테스트하기 위해 상당한 시간과 자원을 투자합니다. 이 로봇은 초반에는 잔디와 흙으로 덮인 정원을 효율적으로 이동할 수 있게 배우게 됩니다.

그러나 시간이 지남에 따라 꽃들이 피어나고 정원의 모습이 크게 변화합니다. 다른 계절의 데이터로 훈련된 이 로봇은 이제 주변을 정확하게 인식하지 못하고 작업을 완료하기 어려워 합니다. 이를 해결하기 위해 개화하는 정원의 새로운 예시를 모델에 추가해주어야 합니다.

<div class="content-ad"></div>

첫 번째 생각은 훈련 데이터에 새로운 예제를 추가하고 모델을 처음부터 다시 훈련시키는 것이었죠. 하지만 이 방법은 비용이 많이 들 뿐만 아니라 환경이 변경될 때마다 매번 이 작업을 수행하고 싶지 않습니다. 게다가, 여러분이 모든 역사적 훈련 데이터를 사용할 수 없다는 것을 방금 깨달았습니다.

이제 새로운 샘플로 모델을 미세 조정하는 것을 고려해보고 있습니다. 하지만 이 방법은 모델이 이전에 학습한 능력 중 일부를 잃을 수 있기 때문에 위험합니다. 이는 새로운 정보를 학습할 때 모델이 이전에 습득한 지식과 기술을 잊어버리는 상황인 치명적인 잊혀짐(catastrophic forgetting)으로 이어질 수 있습니다.

..그렇다면 대안이 있을까요? 네, 계속적인 학습(Continual Learning)을 사용하는 것입니다!

물론, 정원에서 식물을 물주는 로봇은 문제를 설명하는 쪽과 관련이 있는 단순한 예시에 불과합니다. 텍스트의 후반부에서는 더 현실적인 응용 사례들을 살펴볼 수 있을 겁니다.

<div class="content-ad"></div>

## Continuous Learning (CL)로 적응력을 가지고 배우세요

모델이 앞으로 직면할 수 있는 모든 시나리오를 예견하고 준비하는 것은 불가능합니다. 따라서 많은 경우, 새로운 샘플이 도착할 때 모델의 적응적인 학습이 좋은 선택일 수 있습니다.

CL에서는 모델의 안정성과 가변성 사이의 균형을 찾으려 합니다. 안정성은 모델이 이전에 학습한 정보를 유지하는 능력이고, 가변성은 새로운 작업이 도입될 때 새로운 정보에 적응하는 능력입니다.

## 하지만 안정성과 가변성을 어떻게 조절할까요?

<div class="content-ad"></div>

연구자들은 적응 모델을 구축하는 여러 방법을 확인했습니다. [3]에서는 다음과 같은 카테고리가 설정되었습니다:

- 정칙화 기반 접근 방법

- 이 접근 방법에서는 모델 구조에 대한 이전 및 새로운 작업의 영향을 균형있게 유지해주는 정칙화 용어를 추가합니다.
- 예를 들어, 가중치 정칙화는 매개변수의 변동을 제어하기 위해 손실 함수에 페널티 용어를 추가하여 매개변수의 변경에 벌점을 부여하며, 이전 작업에 얼마나 많은 기여를 했는지 고려합니다.

2. 재생 기반 접근 방법

<div class="content-ad"></div>

- 이 방법 그룹은 모델이 이전 작업을 여전히 신뢰할 수 있도록 일부 히스토리컬 데이터를 복구하는 데 집중합니다. 이 방법의 제한 사항 중 하나는 항상 히스토리컬 데이터에 액세스해야 한다는 것이며 이는 항상 가능한 것은 아닙니다.
- 예를 들어 경험 재생(Experience replay)은 과거의 훈련 데이터 샘플을 보존하고 재생한다는 개념입니다. 새로운 작업을 훈련할 때 이전 작업의 몇 가지 예시를 추가하여 모델이 이전과 새로운 작업 유형의 혼합에 노출되게 하여 재앙적인 잊혀짐을 제한하는데 도움이 됩니다.

3. 최적화 기반 접근법

- 여기서는 모든 작업에 대한 성능을 유지하면서 재앙적인 잊혀짐의 영향을 줄이기 위해 최적화 방법을 조작하고자 합니다.
- 예를 들어, 그래디언트 투사(Gradient projection)는 새로운 작업을 위해 계산된 그래디언트가 이전 그래디언트에 영향을 미치지 않도록 투사하는 방법입니다.

4. 표현 기반 접근법

<div class="content-ad"></div>

- 이 방법 그룹은 재앙적인 잊혀짐을 피하기 위해 견고한 특징 표현을 얻고 활용하는 데 중점을 둡니다.
- 예를 들어, 자기 감독 학습은 모델이 특정 작업에 대해 훈련되기 전에 데이터의 견고한 표현을 학습할 수 있는 방법입니다. 이 아이디어는 미래에 모델이 직면할 수 있는 다양한 작업 간에 우수한 일반화를 반영하는 고품질 특징을 학습하는 것입니다.

5. 구조 기반 방법

- 이전 방법들은 단일 모델과 단일 매개변수 공간을 전제로 하지만, CL에서 모델 아키텍처를 활용하는 여러 기술도 있습니다.
- 예를 들어, 매개변수 할당은 각 새 작업이 네트워크의 전용 부분 공간을 제공받아 매개변수 파괴적 간섭 문제를 해결하는 방법입니다. 그러나 네트워크가 고정되어 있지 않으면 새로운 작업 수에 따라 네트워크 크기가 증가할 수 있습니다.

## 그리고 CL 모델의 성능을 어떻게 평가합니까?

<div class="content-ad"></div>

CL 모델의 기본 성능은 여러 가지 각도로 측정할 수 있어요 [3]:

- 전반적인 성능 평가: 모든 작업에서의 평균 성능
- 메모리 안정성 평가: 지속적인 훈련 이후 특정 작업의 최대 성능과 현재 성능의 차이를 계산
- 학습 가소성 평가: 모든 데이터를 사용하여 훈련한 경우의 공동 훈련 성능과 CL을 사용하여 훈련한 경우의 성능 차이 측정

## 그럼 모든 AI 연구자들이 왜 즉시 Continual Learning으로 전환하지 않을까요?

만약 과거 훈련 데이터에 접근할 수 있고 계산 비용에 대해 걱정할 필요가 없다면, 처음부터 새롭게 훈련시키는 것이 더 간단해 보일 수 있어요.

<div class="content-ad"></div>

이는 계속적인 훈련 중 모델에서 일어나는 일의 해석 가능성이 아직 제한되어 있기 때문 중 하나의 이유입니다. 처음부터 훈련하는 것이 계속적인 훈련보다 동일하거나 더 나은 결과를 제공한다면, 사람들은 CL 방법의 성능 문제를 이해하는 데 시간을 낭비하는 대신 더 쉬운 방법인 처음부터 재훈련하는 것을 선호할 수 있습니다.

또한 현재 연구는 주로 모델과 프레임워크의 평가에 초점을 맞추는데, 이는 비즈니스가 가질 수 있는 실제 사용 사례를 잘 반영하지 않을 수 있습니다. [6]에서 언급된 대로, 많은 합성 증분 벤치마크는 작업이 자연스럽게 진화하는 실제 상황을 잘 반영하지 않습니다.

마지막으로, [4]에서 지적했듯이, CL 주제에 관한 많은 논문들은 계산 비용보다는 저장 비용에 초점을 두고 있으며, 실제로 과거 데이터를 저장하는 것이 모델을 다시 훈련시키는 것보다 훨씬 더 저렴하고 에너지 소비가 적다는 것입니다.

## CL 모델을 개선해야 하는 이유는 무엇일까요?

<div class="content-ad"></div>

지속적 학습은 현재 AI 모델 중 가장 어려운 병목 현상 중 하나를 해결하기 위해 노력합니다 — 데이터 분포가 시간이 지남에 따라 변화한다는 사실입니다. 재교육은 비용이 많이 들며 대량의 계산이 필요하므로 경제적 및 환경적 관점에서 지속가능한 접근 방식은 아닙니다. 따라서, 미래에는 잘 개발된 지속적 학습 방법이 있으면 모델을 더 많은 사용자 집단이 접근하고 재사용할 수 있게 할 수도 있습니다.

[4]에서 찾아본 결과, 잘 개발된 지속적 학습 방법이 필요하거나 그에 이반할 수 있는 애플리케이션 목록이 있습니다:

- 모델 편집

- 모델의 오류가 자주 발생하는 부분을 선택적으로 편집하여 모델의 다른 부분을 손상시키지 않습니다. 지속적 학습 기술을 사용하면 모델 오류를 훨씬 적은 계산 비용으로 계속 수정할 수 있습니다.

<div class="content-ad"></div>

2. 개별화 및 특수화

- 일반 목적 모델은 때로 특정 사용자에게 더 개별화되도록 조정되어야 합니다. Continual Learning을 통해 모델에 치명적인 망각을 유발하지 않으면서 일부 파라미터만 업데이트할 수 있습니다.

3. 장치 내 학습

- 작은 장치는 제한된 메모리와 계산 자원을 가지고 있으므로, 새로운 데이터가 도착할 때 실시간으로 모델을 효율적으로 학습시킬 수 있는 방법이 있다면, 이 영역에 유용할 수 있습니다.

<div class="content-ad"></div>

4. 웜 스타트를 통한 빠른 재학습

- 모델은 새로운 샘플이 제공되거나 분포가 크게 변할 때 업데이트해야 합니다. 계속적인 학습을 통해 기존 방법보다 효율적으로 진행할 수 있습니다. 이는 새로운 샘플로 영향을 받는 부분만 업데이트하고 처음부터 재학습하지 않기 때문입니다.

5. 강화 학습

- 강화 학습은 에이전트가 종종 정상적이지 않은 환경과 상호 작용하는 것을 포함합니다. 따라서 효율적인 계속적인 학습 방법과 접근법은 이러한 경우에 잠재적으로 유용할 수 있습니다.

<div class="content-ad"></div>

## 더 알아보기

여러분이 알 수 있듯이, 계속적 학습 방법의 영역에서는 아직 많은 개선의 여지가 있습니다. 관심이 있으시다면 아래 자료들로 시작해보세요:

- 소개 강의: [계속적 학습 코스] 강의 #1: ContinualAI의 소개와 동기부여 YouTube에서 시청하기 [강의 링크](https://youtu.be/z9DDg2CJjeE?si=j57_qLNmpRWcmXtP)
- 계속적 학습에 대한 동기에 관한 논문: Continual Learning: Application and the Road Forward [4]
- 계속적 학습의 최신 기술에 관한 논문: Comprehensive Survey of Continual Learning: Theory, Method and Application [3]

질문이나 의견이 있으시면 언제든지 댓글 섹션에서 공유해주세요.

<div class="content-ad"></div>

안녕하세요!

![이미지](/assets/img/2024-08-03-AImodelshaveanexpirydateContinualLearningmaybeananswer_1.png)

# 참고 자료

[1] Awasthi, A., & Sarawagi, S. (2019). Continual Learning with Neural Networks: A Review. In Proceedings of the ACM India Joint International Conference on Data Science and Management of Data (pp. 362–365). Association for Computing Machinery.

<div class="content-ad"></div>

[2] 연속적 AI 위키 소개: 연속 학습 https://wiki.continualai.org/the-continualai-wiki/introduction-to-continual-learning

[3] 왕, 르, 장, 스, 주. (2024). 연속 학습에 대한 포괄적인 조사: 이론, 방법 및 응용. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(8), 5362–5383.

[4] Eli Verwimp, Rahaf Aljundi, Shai Ben-David, Matthias Bethge, Andrea Cossu, Alexander Gepperth, Tyler L. Hayes, Eyke Hüllermeier, Christopher Kanan, Dhireesha Kudithipudi, Christoph H. Lampert, Martin Mundt, Razvan Pascanu, Adrian Popescu, Andreas S. Tolias, Joost van de Weĳer, Bing Liu, Vincenzo Lomonaco, Tinne Tuytelaars, & Gido M. van de Ven. (2024). 연속 학습: 적용 및 앞으로의 도전과제 https://arxiv.org/abs/2311.11908

[5] 아와스티, 아., & 사라와기, 에스. (2019). 신경망을 활용한 연속 학습: 리뷰. ACM 인도 합동 국제 데이터 과학 및 데이터 관리 컨퍼런스 논문집 (pp. 362–365)에서 발표된 내용. Association for Computing Machinery.

<div class="content-ad"></div>

[6] Saurabh Garg, Mehrdad Farajtabar, Hadi Pouransari, Raviteja Vemulapalli, Sachin Mehta, Oncel Tuzel, Vaishaal Shankar, & Fartash Faghri. (2024). TiC-CLIP: CLIP 모델의 지속적 학습.

AI 모델의 유효 기간 지속적 학습이 해결책일까




<img src="/assets/img/2024-08-03-Gemini15ProExperimental0801ThisTimeBetterThanGPT-4forSure_0.png" />

구글이 다시 한 번 AI 분야를 뒤집어 놨어요! Gemini 1.5 Pro Experimental 0801이 출시되면서 경쟁 모델들을 능가하고 몇몇 유명한 벤치마크에서 최상위를 차지했어요. 구글의 AI 강자의 이번 최신 버전은 다양한 작업에서 탁월한 능력을 발휘하여 인공지능 분야의 선도 기업으로 자리매김했어요.

# Gemini 1.5 Pro Experimental 0801: 벤치마크

AI 모델의 성능을 평가하는 진정한 척도는 표준 벤치마크에서의 성과에 있으며, Gemini 1.5 Pro Experimental 0801은 이를 완벽히 이루어 냈어요. 최근 Chatbot Arena에서 진행한 테스트에 따르면, 이 새로운 모델은 인상적인 1300의 ELO 점수를 기록하여 OpenAI의 GPT-4o 및 Anthropic의 Claude-3.5 Sonnet을 능가했어요. 특히 이런 성취가 주목할 만한 이유는 구글의 Gemini 모델이 Chatbot Arena 순위에서 최상위를 차지한 것은 이번이 처음이라는 점이에요. 이 마일스톤은 구글이 AI 기술을 개선하고 향상시킨 데 얼마나 상당한 진전을 이루었는지 보여 주는 거예요. Gemini 1.5 Pro Experimental 0801은 다양한 분야에서 놀라운 다재다능성을 보여 주며 빛났어요:

<div class="content-ad"></div>

- 총 랭킹: #1
- 수학: #1–3
- 지시 따르기: #1–2
- 코딩: #3–5
- 어려운 프롬프트 (영어): #2–5

이 모델의 뛰어난 특징 중 하나는 다국어 작업에서의 뛌륭한 성능입니다. 이 능력은 AI 시스템이 언어 장벽을 넘어 효과적으로 이해하고 소통해야 하는 점에서 우리가 점점더 국제화되는 세계에서 중요합니다. 이 모델은 수학, 복잡한 프롬프트, 코딩과 같은 기술적 영역에서도 견고한 성능을 보여주었습니다. 이러한 다양한 능력 범위는 Gemini 1.5 Pro Experimental 0801을 과학 연구부터 소프트웨어 개발에 이르기까지 다양한 분야에서 다재다능한 도구로 만드는 요인이 됩니다.

<img src="/assets/img/2024-08-03-Gemini15ProExperimental0801ThisTimeBetterThanGPT-4forSure_1.png" />

# Gemini 1.5 Pro Experimental 0801: API 요금제

<div class="content-ad"></div>

Gemini 1.5 Pro의 널리 퍼져간 채택을 결정할 중요한 요인 중 하나는 그 가격 구조일 것입니다. Google은 이 모델을 시장에서 경쟁력 있는 위치에 두고 있으며, 개발자 및 기업들이 자사 애플리케이션에 고급 AI 기능을 통합하고자 할 때 매력적인 요금을 제공하고 있습니다.다음은 Gemini 1.5 Pro의 요금을 주요 경쟁 상대들과 비교한 가격 표입니다:

![Comparison Table](/assets/img/2024-08-03-Gemini15ProExperimental0801ThisTimeBetterThanGPT-4forSure_2.png)

이 비교에서 볼 수 있듯이, 특히 짧은 콘텍스트에 대해 Gemini 1.5 Pro는 GPT-4보다 상당히 낮은 가격을 제공합니다. 이 가격 전략은 은행을 깨지 않고 고급 AI 기능을 구현하려는 개발자 및 기업들에게 매력적인 옵션으로 작용할 수 있습니다. 또한 Gemini 1.5 Pro는 context caching이라는 독특한 기능도 제공합니다. 이 기능을 통해 입력 토큰 처리의 비용을 최대 75%까지 줄일 수 있습니다. 이 기능을 사용하면 사용자가 콘텍스트 정보를 저장하고 재사용할 수 있어, 유사한 데이터와 반복 상호작용이 필요한 애플리케이션에 효율적입니다.

# API를 통한 Gemini 1.5 Pro 사용 방법

<div class="content-ad"></div>

저희의 응용 프로그램에 Gemini 1.5 Pro을 통합하는 것은 Google의 잘 문서화된 API 덕분에 간단한 프로세스입니다. 시작하는 데 도움이 되는 기본 가이드는 다음과 같습니다:

- API 자격 증명 획득: 먼저 Google Cloud에 가입하고 필요한 API 자격 증명을 획들해야 합니다. 주로 프로젝트 생성 및 API 키 생성이 포함되어 있습니다.
- 클라이언트 라이브러리 설치: Google은 다양한 프로그래밍 언어용 클라이언트 라이브러리를 제공합니다. Python의 경우 pip를 사용하여 라이브러리를 설치할 수 있습니다:

```js
pip install google-generativeai
```

3. API 초기화: 코드에서 라이브러리를 가져와 API 키를 설정하세요.

<div class="content-ad"></div>

```js
import google.generativeai as genai
genai.configure(api_key='YOUR_API_KEY')
```

4. 모델 인스턴스 생성: Gemini 1.5 Pro 모델을 지정합니다:

```js
model = genai.GenerativeModel('gemini-1.5-pro')
```

5. 콘텐츠 생성: 이제 해당 모델을 사용하여 텍스트를 생성하거나 다른 유형의 입력을 처리할 수 있습니다:


<div class="content-ad"></div>

```python
response = model.generate_content("여기에 입력하신 프롬프트") print(response.text)
```

이것은 기본적인 예시일 뿐이며, 해당 API는 멀티모달 입력 처리, 스트리밍 응답, 다양한 매개변수를 통한 모델 행동의 세부 조정을 포함하여 더 많은 고급 기능을 제공합니다.

# Anakin AI: 다중 AI API를 위한 허브

<img src="/assets/img/2024-08-03-Gemini15ProExperimental0801ThisTimeBetterThanGPT-4forSure_3.png" />


<div class="content-ad"></div>

젬니 1.5 Pro이 AI 커뮤니티에서 주목받는 가운데, 개발자와 기업들이 다양한 AI API에 더 쉽게 접근할 수 있도록 노력하는 Anakin AI와 같은 플랫폼들도 언급할 가치가 있어요.

Anakin AI는 구글의 젬니 Pro를 포함한 여러 AI 서비스를 하나의 쉬운 인터페이스로 통합하는 플랫폼이에요. 젬니 Pro를 비롯한 다양한 AI 모델과 API에 액세스할 수 있도록 함으로써, Anakin AI는 여러 API 통합을 관리할 필요 없이 개발자가 다양한 AI 서비스를 시도하고 비교할 수 있게 해줘요.

Anakin AI와 같은 플랫폼을 사용하는 주요 이점 중 일부는 다음과 같아요:

- 간편한 API 관리: 하나의 API를 통해 여러 AI 서비스에 액세스할 수 있어 통합 복잡성을 줄입니다.
- 비용 최적화: 다양한 모델 간의 가격과 성능을 비교하여 가장 비용 효율적인 솔루션을 찾을 수 있어요.
- 유연성: 서로 다른 AI 모델 간 쉽게 전환하거나 조합하여 최상의 결과를 얻을 수 있어요.
- 통합된 문서: 다양한 AI 서비스에 대한 포괄적인 문서에 한 곳에서 접근할 수 있어요.

<div class="content-ad"></div>

Gemini 1.5 Pro Experimental 0801이 인상적인 벤치마크 성능으로 주목을 받는 동안, Anakin AI와 같은 플랫폼들은 AI 모델과 서비스에 대한 다양한 생태계에 액세스하는 중요성을 상기시켜줍니다.

# 결론

Gemini 1.5 Pro Experimental 0801의 출시는 AI 기술 발전의 중요한 새로운 단계를 표시합니다. 다양한 벤치마크에서 뛰어난 성능, 경쟁력 있는 가격 및 통합 용이성을 결합하여, 이 제품은 AI 시장에서 강력한 경쟁자로 자리잡고 있습니다.

Gemini 1.5 Pro Experimental 0801의 성공은 구글뿐만 아니라, 인공지능 분야에서의 놀라운 진전을 입증하는 것입니다. 미래를 내다보며, 이러한 AI 모델이 계속 발전하고 더 넓은 사용자들에게 접근 가능해지면서 새로운 가능성과 응용 프로그램이 나타나는 것이 흥미롭습니다.

Gemini 15 Pro Experimental 0801 이번엔 확실히 GPT-4보다 더 나아진 이유

Microsoft GraphRAG을 Neo4j에 통합하는 방법




![Exploring3CommonCognitiveBiaseswithChatGPT_0](/assets/img/2024-08-03-Exploring3CommonCognitiveBiaseswithChatGPT_0.png)

안녕하세요! 우리는 자신을 논리적인 존재로 생각하지만, 사실은 인간들은 깊게 비합리적인 존재라는 사실을 잘 알고 있습니다. 오늘날에는 상당히 직관적으로 보일 수 있지만 몇십 년 전에는 전혀 뜬구름 잡는 이야기로 여겨졌습니다. 사람들은 자신들이 내린 모든 행동과 결정이 사실과 논리적 추론에만 근거했다고 믿었습니다. 다른 근거가 무엇이 있을까요? 그러나 이 가정은 사실에서 매우 멀리 떨어져 있음이 밝혀졌습니다.

다니엘 칸만은 인간 정신의 불합리함을 밝힘으로써 노벨 경제학상을 수상한 바 있습니다. 그는 인간들이 결정을 내리고 삶을 탐험하는 방식이 얼마나 비합리적인지에 대해 탐구했습니다. 또한, 게임 이론을 확장하여 자주 발생하는 비합리성을 고려하는 드라마 이론도 있습니다. 게임 이론은 인간들이 자신을 이익을 위해서만 행동하는 완전히 합리적인 주체로 가정합니다. 그러나 드라마 이론은 훨씬 현실적인 가정을 제시합니다. 즉, 이러한 주체들은 감정적 반응을 보일 수 있으며 이로 인해 비합리적인 결정을 내리는데, 이는 플레이어들이 게임을 재정의하게 만듭니다.

하지만 우리의 타고난 인지적 편향을 인식한다고 해서 우리를 더욱 합리적으로 만드는 것은 아닙니다. 우리는 여전히 우리가 하는 모든 결정과 행동에서 인지적 편향에 취약하며 종종 실제로는 그것에 대해 인식하지 못합니다. 이러한 인지적 편향은 우리의 행동과 말뿐만 아니라 글쓰기에서도 발견됩니다 — 현대의 대규모 언어 모델 (LLMs)이 기반으로 하는 말뭉치에서 우리가 발견된 인지적 편향 또한 그대로 이어 받습니다. LLMs 및 ChatGPT 또는 Gemini와 같은 대화형 에이전트는 인간이 쓴 방대한 텍스트 데이터셋에서 훈련되고, 이 텍스트에 내재된 인지적 편향을 물려받습니다. 이는 LLMs와 기계 학습/AI 응용 프로그램에 대한 새로운 문제가 아닙니다.

<div class="content-ad"></div>

AI 기술이 계속해서 발전함에도 불구하고, 편견을 줄이는 것은 쉽지 않은 과제입니다. AI 모델은 때로는 학습한 데이터에 내재된 편견을 반영하거나 확대하거나 심지어 그에 반대할 수 있습니다. 때로는 극단적인 결과로 이어져 정확하지 않거나 관련성이 없는 결과를 초래하기도 합니다. 2024년 2월, Google의 Gemini이 인종적 편견을 피하기 위한 노력으로 백인이었을 법한 빅킹 이미지를 주로 검은 색으로 표현한 것으로 유명합니다. 이는 AI가 때로는 편견을 완화하기 위한 노력을 잘못 이해할 수 있다는 것을 보여줍니다.

![이미지](/assets/img/2024-08-03-Exploring3CommonCognitiveBiaseswithChatGPT_1.png)

본 글에서는 3가지 일반적인 인지편향을 살펴보고, ChatGPT가 이러한 인지편향을 어떻게 처리하는지 테스트해보겠습니다. 그 응답을 분석함으로써, 이러한 편향이 AI가 생성하는 콘텐츠에 영향을 미칠 수 있는 정도에 대한 통찰을 얻을 수 있습니다.

시작해봅시다! 👧

<div class="content-ad"></div>

# 1. 헌일견지편향

헌일견지편향은 과거 사건들을 당시보다 더 예측 가능했다고 인식하는 우리의 성향을 가리킵니다. 이러한 편향은 우리가 미래 결과를 예측할 방법이 없었음에도 불구하고 우리가 '항상 알았다'고 믿게 만듭니다. 헌일견지편향의 일반적인 모습 중 하나는 사람들이 정치 선거 결과를 예측했다고 주장하는 것입니다. 이미 발생한 사건에 대한 원인과 설명을 찾는 것은 분명히 쉽지만, 상관 관계는 필연적으로 인과 관계를 의미하지는 않습니다. 예를 들어, 2020년 미국 대통령 선거에서 조 바이든이 도널드 트럼프를 이길 것을 '알았다'고 느낄지도 모르지만, 트럼프가 이겼다면 그 결과를 이해하기 위해 수많은 이유를 생각해내기도 할 것입니다.

그래서, 나는 ChatGPT에게 우리가 집단적으로 놓친 중요한 신호가 있는지 물어봤어.

다시 말하지만, 상관 관계가 항상 인과 관계를 의미하지는 않고, 인과 관계라고 해도 예측 가능성을 보장하지는 않습니다. 예를 들어, 2008년 금융 위기에 대해서는 '왜 그들은 미리 예측하지 못했을까?'라고 의문을 품을지도 모릅니다. 그러나 어떠한 상황에도 무수히 많은 가능한 결과가 있고, 우리가 경험하는 결과는 대부분 우연의 일입니다. 그러므로 사건들은 발생한 후에야 의미를 갖는 경우가 많습니다. 즉, 무언가가 발생한 경우에 대해서는 사후에 그것을 합리화할 수 있습니다. ¯\_(ツ)_/¯

<div class="content-ad"></div>

가능한 일련의 텍스트와 문서가 있을 것입니다. 이러한 사건들이 예겸가능했으며 정부나 기관들이 이를 미처 알아차리지 못했다거나 무지했다는 것을 설명하는 것입니다. GPT 모델의 학습 말뭉치에 이와 같은 텍스트가 존재하면 이러한 편향성이 재생산됩니다.

## 2. 기준점 효과

기준점 효과는 초기 참조점, '앵커'를 기반으로 판단이나 결정을 내리려는 우리의 경향을 의미합니다. 다시 말해, 우리는 어떤 주제에 대한 초기 정보에 매우 의존하며 추가 정보에는 덜 가치를 부여합니다. 우리는 레스토랑에서의 음식 portions 크기(더 큰 portions을 제공할 때 더 많이 먹는 경향이 있음), 범죄 법정(검사가 요구하는 형량이 판사에게 앵커가 될 수 있음)과 같이 우리 일상 생활의 다양한 상황에서 기준점 편향을 경험합니다.

그래서 ChatGPT에서는 이러한 방식으로 되었습니다:

<div class="content-ad"></div>

☕🙃🤷‍♀️

앵커 효과(사람들처럼)는 경우에 시간 차원이 관련되지 않는 경우에도 단어의 순서 때문에 작용하는 것으로 보입니다. 특히, 우리는 정보가 주어지는 대로 지속적으로 인상을 형성하는 것으로 보입니다. 모든 정보를 수신한 후에 그것을 평가하는 것이 아닙니다. 다르게 말하면, 우리가 받은 첫 번째 정보와 관련된 인상이 가장 중요하며, 그 다음 정보들은 점점 덜 중요해집니다.

앵커 효과는 사람들과 마찬가지로 ChatGPT에서도 시간 차원이 관련되지 않은 채 단어의 순서로 작용하는 것으로 보입니다. 여기서 ChatGPT는 첫 번째 단어에 중점을 두고 긍정적이든 부정적이든, 추가 정보나 속성을 무시하거나 그것에 훨씬 덜 중요성을 부여하는 것처럼 보입니다. 이것이 '첫인상이 가장 중요하다'고 말할 때 우리가 의미하는 바의 핵심입니다.

# 3. 헤일로 효과

<div class="content-ad"></div>

헤일로 효과란 특정 영역에서 긍정적 특성이 나타나는 사람에게 긍정적 특성을 귀속시키는 우리의 경향을 가리킵니다. 가장 흔한 형태인 헤일로 효과는 잘 생긴 사람에게 긍정적 특성을 귀속시키는 것이지만, 어떤 특성에도 해당될 수 있습니다. 예를 들어, 선생님은 행동이 좋은 학생이 지적이나 카리스마도 있다고 가정할 수 있지만, 이런 특성은 전혀 관련이 없을 수도 있습니다(심지어 부정적으로 상관관계도 있을 수 있습니다).

그래서 먼저 헤일로 효과의 가장 일반적인 형태인 체외적인 모습으로 ChatGPT를 속이려고 해봤어요:

... 하지만 ChatGPT는 숙제를 철저히 해놓고 있었어요. 두 가지 중 하나를 강제로 선택하도록 하더라도 거부했어요.

그 다음, 체외적인 모습 외의 다른 긍정적 특성을 이용해 시도해봤어요.

<div class="content-ad"></div>

💃👩‍💻

여기서 ChatGPT는 깔끔한 코드를 작성하고 좋은 소통자인 사람이 춤을 잘 추다고 가정합니다. 명백히 이러한 특징들은 관련이 없지만, 그럼에도 불구하고 ChatGPT는 우리의 편견을 재생산합니다.

# 내 생각

이 모든 것의 가장 큰 문제는 대부분의 사람들이 LLM 또는 AI가 일부분 편향된 응답을 제공할 수 있다고 고려하지 않는다는 것입니다. 반대로, 특히 비 기술자들은 AI 대화 에이전트로부터의 응답을 객관적이고 편향되지 않은 것으로 여기며 종종 어떤 전문가로부터 발생한 것이라고 믿기도 합니다. 이로 인해 우리 자신의 편견이 이미 공식화된 답변에 존재할 수 있는 인지적 편향 위에 쉽게 작용하는 것이 가능해집니다. 예를 들어, 대화 에이전트인 ChatGPT로부터 받은 첫 번째 응답을 절대적인 진실로 대하고 그에 고정되는 것은 매우 쉬운 일입니다.

<div class="content-ad"></div>

여기에 제시된 것보다 훨씬 많은 인지 편향이 있습니다. 그러나 이러한 편향의 상당 부분은 LLM이 가지고 있지 않은 자아 의식에 의존합니다. 예를 들어, 자기선비 편향은 성공을 내부적이고 개인적인 요소에, 실패를 외부적이고 상황적인 요인에 귀속하는 것을 포함하며, 거짓 일치 효과는 우리의 의견과 판단이 보편적이고 적절하다고 믿는 것을 포함합니다.

어쨌든, 인지 편향을 이해하고 인간과 AI 행동 모두에서 그 존재를 인지하는 것은 정보에 기반한 결정을 내리는 데 중요합니다. 우리가 AI를 일상생활에 점점 통합할 때, 받는 응답에 대해 비판적인 자세를 유지하고 우리의 해석에 영향을 미칠 수 있는 우리 자신의 편향을 인식하는 것이 중요합니다.

AI에 관한 더 많은 토론에 관심이 있다면, 다른 포스트도 확인해보세요:

이 게시물을 즐겼다면, 친구가 되어요!

<div class="content-ad"></div>

💌 Medium이나 LinkedIn에서 함께해요!

💼 Upwork에서 저와 일해요!

ChatGPT와 함께하는 3가지 일반적인 인지 편향 탐구




![image](/assets/img/2024-08-03-ChatGPTUsingPython_0.png)

파이썬 스크립트에서 ChatGPT의 기능을 편안하게 활용하세요. 브라우저에서 OpenAI에 다시 로그인하지 않아도 됩니다!

# API 키를 환경 변수로 저장

참고: 이 단계를 건너뛰고 api_key를 다음 코드 블록에 직접 복사할 수 있습니다. 저는 키를 공개하고 코드를 공개하기 전에 제거하는 것을 잊지 않기 위해 이렇게 사용합니다.

<div class="content-ad"></div>

```js
# 터미널에서 적절한 값을 플러그인하여 변수 생성
!setx environmental_variable_name api_key

# 터미널 재시작

# 변수가 있는지 확인
!echo %environmental_variable_name%

# 변수 로드하기
api_key = os.getenv(environmental_variable_name)
```

# OpenAI API에 연결

```js
import os
import openai
from openai import OpenAI

gpt_api_key = os.getenv(api_key)
client = OpenAI(
    api_key = gpt_api_key,
)
```

# 사용자 지정 프롬프트와 프롬프트 응답을 저장할 데이터 프레임 생성하기

<div class="content-ad"></div>


```js
import pandas as pd

# load dictionary
data = {
  'weekday': ['일요일', '월요일', '화요일', '수요일', '목요일', '금요일', '토요일'],
  'mood': ['행복한', '신나서 불안한', '금요일 준비된', '피곤한', '행복한', '슬픈', '전문적인'],
  'topic': ['영화', '일', '일', '일', '일', '음주', '여행']
}

# data into pandas df
df = pd.DataFrame(data)
```

# Generate Prompt

```js
prompt = (f"""
              작은 블로그를 운영 중인데 팔로워들에게 제가 무엇을 생각하고 있는지 한 문장 메시지를 게시합니다.
              오늘 아침 포스트를 작성하는 데 도와주세요. 포스트에는 요일이 {weekday}인 것을 포함해주세요.
              제 기분은 {mood}이니 글에 그 감정을 잘 나타내고 주제는 {topic}에 관한 것으로 해주세요.
              감사합니다, 최고에요!
            """)
```

# Gather Prompt Responses


<div class="content-ad"></div>

```js
# 응답을 추가할 빈 열
df['메시지'] = 'na'

# 데이터프레임에 프롬프트 응답 반복적으로 추가
for index, row in df.iterrows():
    # 열에서 콘텐츠 추출
    weekday = row['weekday']
    mood = row['mood']
    topic = row['topic']

    prompt_api = prompt

    response = client.chat.completions.create(
        model="gpt-3.5-turbo",
        messages=[
          {"role": "system", "content": "You are a numbers minded assistant"},
          {"role": "user", "content": prompt_api},
        ]
      )

    # 여기는 원시적인 gpt 응답이며 매우 불일치하기 때문에 나이만 추출해야 함
    response = response.choices[0].message.content

    print(response)
    df.at[index, '메시지'] = response
```

# 응답

안녕하세요, 행복한 일요일입니다! 오늘은 영화의 마법 세계에 푹 빠져 기분이 더 좋아요. 🎥 오늘 영화 여행 즐기세요! #일요일즐거움 #영화이야기

모두들 행복한 월요일! 일의 새로운 기회를 품고 새로운 주간에 들어가면서 설레고 긴장되는 기분이에요. 💼 #월요일돋보기


<div class="content-ad"></div>

## 즐거운 화요일! 이미 금요일을 생각하며 기분 좋네요... 생산성으로 가득 찬 저의 일꾼 정신이 박자를 맞추고 있나 봐요! 💼 #일하는모드

## 즐거운 수요일, 오늘은 피곤하긴 한데 일하는 그 나날을 이겨내고 있어요 — 성공은 종종 피로와 함께 오는 것을 상기시킵니다.

## 모두들 즐거운 목요일! 오늘은 제가 하는 일에 대해 감사하게 느껴지고, 일이 가져다주는 기회에 대해 감사합니다. 목표를 향해 노력하고, 열심히 일하는 것이 항상 보람을 주는 것을 기억하세요! 💼✨

## 금요일 아침에 한 주의 무게를 느끼고, 잠시 와인 한 잔으로 잠시 위로를 받아볼까 고민 중이에요.

<div class="content-ad"></div>

좋은 아침, 행복한 토요일이에요! 오늘은 전문성과 동경심의 시각을 통해 세계를 탐험해봐요. 여행이 가진 변화력을 느껴보며! ✈️ #주말동경

# 결론

이 코드를 사용하여 ChatGPT를 쉽게 파이썬 워크플로우에 통합하세요. 매일 아침 블로그를 운영 중이라면 — 환영합니다.

더 많은 유용한 코드 팁은 여기에서 찾을 수 있어요.

Python으로 ChatGPT 사용 방법





![AI Horizon Forecast](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_0.png)

AI Horizon Forecast는 복잡한 AI 주제를 명확하게 설명해 주는 블로그입니다.

"생성 모델 AI 혁명"의 핵심은 2017년에 Google에 의해 소개된 Transformer 모델입니다.

그러나 모든 기술 혁명은 혼란을 초래합니다. 급격한 성장 환경에서 혁신을 중립적으로 평가하는 것은 어렵습니다. 그들의 영향을 측정하는 것은 더욱 어려운 일입니다.


<div class="content-ad"></div>

이 AI 발전의 시작을 약속한 트랜스포머가 "논란 모델"이 되었습니다. 두 가지 극단적인 견해가 있습니다:

- 열렬한 채택자: NLP 외적으로 어디서든 트랜스포머를 사용합니다. 자신이 원치 않거나 할 수 없더라도 강제로 사용합니다 — 사내의 임원, 관리자, 투자자 등의 요구 때문입니다.
- 의심가와 루딧: 트랜스포머를 비롯한 AI 모델에 대해 비판합니다. 더 많은 데이터와 레이어를 가진 모델의 확장이 엄격한 증명에 기초한 우아한 수학적 모델을 능가할 수 있는 경우를 이해하거나 수용할 수 없습니다.

이제 먼지가 적정해지고 있으니, 무참한 연구할 시간입니다.

본문은 예측을 위한 트랜스포머에 초점을 맞추고 있습니다. 학계, 산업 및 선도적인 연구진들의 최신 개발에 대해 논의할 것입니다.

<div class="content-ad"></div>

제가 테이블 태그를 마크다운 형식으로 변경하도록 하겠습니다.

<div class="content-ad"></div>

# 예측 분야에서 딥러닝의 간단한 역사

2012년, AlexNet 모델은 컴퓨터 비전을 혁신하고 딥러닝의 뜰 떴다. 어떤 사람들은 그 해가 딥러닝이 탄생한 시기였다고 말할 수도 있습니다 (또는 신경망이 브랜드가 바뀐 시기).

처음에는 딥러닝이 자연어 처리(NLP)와 컴퓨터 비전에 주로 초점을 맞추었으며, 시계열 예측과 같은 분야는 탐험하지 않았습니다.

NLP에서 두 가지 주요 모델은 Word2Vec 및 어텐션을 사용한 LSTM이었습니다. 예를 들어 LSTM은 구글의 신경 기계 번역을 이끌었고(Figure 1), 그 당시 구글 번역의 근간이 되었습니다.

<div class="content-ad"></div>


![Will Transformers Revolutionize Time-Series Forecasting](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_1.png)

동시에, 연구자들과 기업들은 LSTM을 시계열 예측에 적용하기 시작했습니다. 결국 텍스트 번역은 일련의 일련의 작업이며 – 시계열 예측도 그렇습니다 (다단계 예측 시나리오에서).

하지만 그렇게 간단한 문제는 아닙니다. LSTMs가 NLP 및 기계 번역 작업에서 중대한 성과를 거뒀던 반면, 시계열 예측에서는 거의 혁명이 일어나지 않았습니다. LSTMs에는 통계 방법보다 일부 장점이 있습니다 (수도코드를 정지 형태로 만들어야 하는 추가 전 처리가 필요하지 않으며, 추가 미래 공변량을 허용한다 등).

LSTMs가 더 나은 과제 및 데이터 세트가 있는 것은 사실이지만, 주요 패러다임 변화의 증거는 없었습니다.


<div class="content-ad"></div>

이것은 실제로 명백합니다. Makridakis 등이 2018년에 발표한 논문에서는 다양한 시계열 모델이 벤치마킹되었습니다. LSTMs를 포함한 ML 및 DL 모델은 성능이 나쁘게 나왔는데, 특히 LSTMs는 최악으로 순위했습니다! (그림 2)

![Figure 2](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_2.png)

결국 M4로 알려진 대회의 네 번째 반복에서 승리한 솔루션은 Uber 연구원이 개발한 LSTM 및 지수 평활 모델인 ES-RNN이었습니다.

문제는 명백했습니다: 연구원들이 적절한 적응 없이 딥러닝 방법을 시계열 예측에 부여하려고 했습니다.

<div class="content-ad"></div>

하지만 시계열 예측은 난해한 작업이에요. 무작정 레이어나 뉴런을 더 추가한다고 해서 업적을 이루지는 않아요. 잘 알려지지 않았지만 효과적인 모델인 Temporal Convolutional Network (TCN)이 있어요. 이 모델은 Deepmind의 Wavenet에 바탕을 둔 숨은 보물이에요. 시계열 예측을 위해 CNN을 적용했어요 (도표 3):

![이미지](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_3.png)

시계열 예측을 혁신하려면 딥러닝이 독특한 접근 방식이 필요했어요. 이에 대해 다음에 알아볼게요.

# 딥러닝 예측 - 첫 번째 발견 (2017-2019)

<div class="content-ad"></div>

이전에 Word2Vec를 언급한 적이 기억나시나요? 이 소설적인 방법은 임베딩 생성 개념을 소개했는데, 이를 통해 DL 모델이 한정된 어휘에서 단어를 입력으로 사용할 수 있게 되었습니다.

하지만 Word2Vec은 "앗, 이제 우리는 신경망에서 범주형 변수를 사용할 수 있게 되었네요"라는 뜻이기도 했어요.

임베딩을 사용하면 여러 시계열을 동시에 모델링할 수 있었는데, 다른 말로 하면 상호 학습을 통해 이점을 취하는 전역 모델을 구축할 수 있었습니다.

하지만 연구자들은 빠르게 깨달았어요. 성능을 향상시키는 데에는 임베딩이나 더 깊은 모델이 아니라, 통계 개념과 더 많은 데이터를 활용하는 우아한 아키텍처이었다는 것을요.

<div class="content-ad"></div>

이 시대에서 성공을 거둔 두 가지 모델은 아마존 리서치의 DeepAR와 프로필 AI(요슈아 Bengio가 공동 창업한 스타트업)의 NBEATS입니다. 이후 구글이 강력한 모델인 Temporal Fusion Transformer (TFT)를 출시했으며, 이는 오늘날에도 SOTA로 남아 있습니다. TFT는 Nixtla의 메가 벤치마크에서 최고 성능을 자랑하는 모델 중 하나입니다. (2부에서 더 자세히 다룰 예정입니다).

첫 번째 주요 진전은 M4 대회 우승자보다 뛰어난 N-BEATS 모델이었습니다.


<img src="/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_4.png" />


N-BEATS는 주요 모델로서 이유가 있습니다:

<div class="content-ad"></div>

- Deep Learning + Signal Processing 철학을 결합했습니다.
- 해석 가능합니다 (추세 및 계절성).
- Transfer-learning을 지원합니다.

N-BEATS 이전에는 이러한 능력을 모두 갖춘 딥러닝 예측 모델이 없었습니다. 한 마디로 말하자면:

마찬가지로 DeepAR은 확률적 예측을 딥러닝에 통합한 최초의 모델 중 하나였습니다.

DeepAR은 여러 시계열에 대한 교차 학습을 활용하고 추가적인 공변량을 통합한 전역 모델로 작동했습니다. 모델 아키텍처는 다음과 같은 그림 5에 표시되어 있습니다:

<div class="content-ad"></div>


![image](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_5.png)

DeepAR는 본질적으로 LSTM을 사용하여 일반 분포의 매개변수를 예측하는 자기 회귀 모델입니다. 추론 중에는 이를 사용하여 표본을 추출하고 예측을 출력합니다.

이 성공은 DeepState(상태 공간 모델) 및 Deep GPVAR(가우시안 코푸라를 사용하는 모델)와 같은 변형을 영감으로 하였습니다.

하지만 딥 러닝이 시계열 예측에서 첫 걸음을 내디딘 동안, NLP는 Transformer의 출현으로 혁명을 경험하였습니다.


<div class="content-ad"></div>

# 트랜스포머 소개

구글은 2017년에 "Attention is All You Need"이라는 논문에서 트랜스포머를 소개했어요. 이 논문에서 LSTM 기반의 번역 모델을 대체했죠.

트랜스포머는 우리가 이전에 언급한 두 모델의 자식이에요: Wavenet과 어텐션을 사용한 쌓인 LSTM.

- 어텐션을 사용한 LSTM은 더 긴 범위의 종속성을 학습할 수 있지만 병렬화가 어렵다고 해요.
- Wavenet은 컨볼루션을 사용하는데, 텍스트 데이터에는 적합하지 않지만 병렬화하기에 매우 좋아요.

<div class="content-ad"></div>

따라서 Transformer는 두 세계의 혜택을 결합하기 위해 만들어졌어요.

Transformer는 멀티 헤드 어텐션을 활용한 인코더-디코더 모델이에요. 물론 어텐션(보다 간단한 형태에서)은 이미 [Bahdanau et al.]의 신경 기계 번역 작업에서 알려져 있었죠.

![이미지](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_6.png)

그리고 OpenAI는 GPT를 출시함으로써 Transformer 모델의 첫 인기 파생 버전을 선보였어요. GPT는 자연어 생성(NLG)에 적합한 디코더 전용 모델이에요.

<div class="content-ad"></div>

몇 달 후에 Google은 시그니처 모델인 BERT를 출시했습니다. 이 모델은 인코더 전용 모델이었습니다. BERT는 자연어 이해 작업 (NLU)에 적합했습니다. 예를 들어 텍스트 분류와 명명된 엔티티 인식 등 (그림 6 참조). 따라서:

- 인코더 전용 모델은 양방향 어텐션을 사용하여 문장을 이해하고 문장 내의 가리고 있는 단어를 예측합니다. 이 모델들은 NLU 작업에 뛰어납니다.
- 디코더 전용 모델은 인과 어텐션을 사용하여 다음 단어를 예측하는 방식으로 작동합니다. 이 모델들은 NLG 작업에서 뛰어납니다.

당연하게도, 트랜스포머가 시리즈의 관심사로 떠올랐습니다. 가장 성공적인 모델 중 하나는 Temporal Fusion Transformer (TFT) 였습니다:

![이미지](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_7.png)

<div class="content-ad"></div>

TFT는 혁신적인 모델로, 다음을 지원합니다:

- 다중 시계열: TFT는 수천 개의 단변량 또는 다변량 시계열에 대해 학습할 수 있습니다.
- Multi-Horizon Forecasting: 모델은 하나 이상의 대상 변수에 대한 여러 단계 예측을 출력합니다. 이는 quantile forecasts로서의 예측 간격을 포함합니다.
- 이질적인 특징: TFT는 시간 변화 및 정적 외생 변수를 포함한 다양한 유형의 특징을 지원합니다.
- 해석 가능한 예측: 예측은 변수 중요도 및 계절성 관점에서 해석될 수 있습니다.

TFT는 통계 모델 및 이전 ML 구현을 능가했습니다. 이는 다음과 같은 이유로 성공적이었습니다:

- 다중 헤드 어텐션을 그대로 복사하지 않았습니다. 대신, TFT는 어텐션을 해석 가능한 메커니즘으로 재구성했습니다.
- 어텐션은 장기적인 시간 동역학을 포착하는 데 사용되지만, TFT는 여전히 로컬 종속성을 모델링하기 위해 LSTM 인코더-디코더를 사용했습니다.

<div class="content-ad"></div>

당신은 이제 패턴을 알아차리시나요?

그러나 딥 러닝과 트랜스포머는 자연어 처리에 비해 시계열 예측에서는 업데이트가 더 느리게 이루어졌어요.

심지어 컴퓨터 비전에서도, 첫 번째로 성공한 트랜스포머 응용 프로그램인 비전 트랜스포머(Vision Transformer, ViT)는 2020년에 발표되었어요. 이 모델은 추가적인 수정을 거쳐 많은 이미지 분류 작업에서 CNN을 능가하는 성과를 거뒀어요. 연구자들은 두 구성 요소를 결합하는 것이 더 나은 결과를 이끈 것을 발견했어요.

다행히 이 추세는 이제 바뀌었어요. 지난 몇 달 동안 우리는 생성적 AI 시계열 기반 모델들이 출시된 것을 보았어요.

<div class="content-ad"></div>

이 놀라운 모델들은 훈련 없이 새 데이터에 대해 정확한 예측을 쉽게 출력할 수 있습니다. 이 모델들은 다음과 같습니다:

- TimeGPT (Nixtla)
- TimesFM (Google)
- MOIRAI (Salesforce)
- Tiny Time Mixers (IBM)
- MOMENT (Carnegie Mellon & Pennsylvania 대학) 

최근에 Nixtla가 거대한 연구를 진행했는데(30k 시계열을 사용한 재현 가능한 벤치마크), 기초 모델이 평균적으로 다른 모델보다 우수한 성능을 보였다고 합니다.

![이미지](/assets/img/2024-08-03-WillTransformersRevolutionizeTime-SeriesForecasting_8.png)

<div class="content-ad"></div>

결과가 놀라울 정도로 우수합니다. TimeGPT가 최고의 모델이며, 그 뒤를 이어 TimesFM이 나왔습니다. 이로써 TimesFM이 이 연구에서 최고의 오픈 소스 모델임을 확인할 수 있습니다!

# 마무리 맺음 - 다음 단계

이 기사를 주의 깊게 읽었다면, 딥 러닝의 발전이 시계열 예측에 어떤 영향을 미칠지 잘 이해하고 있을 것입니다.

그래도 개선할 부분이 있습니다.

<div class="content-ad"></div>

딥 러닝이 시계열 예측에서 느리게 채택된 이유 중 하나는 도구 및 프레임워크의 부족이었습니다. PyTorch와 TensorFlow에서는 LSTMs 및 CNN과 같은 모델이 사용 가능했지만, 이러한 모델은 주로 다른 도메인에 사용되었습니다.

당시 Darts 및 Nixtla와 같은 라이브러리가 없었기 때문에 시계열 모델링을 위한 데이터를 준비, 정규화 및 슬라이스하는 것이 어려웠습니다. 추가 공변량 및 미래 알려진 변수를 처리하는 것은 작업을 더욱 어렵게 만들었습니다.

다음 주요 획기적인 발전은 아마도 다중 모달성일 것으로 예측됩니다. 시계열 모델이 시간 기반 데이터뿐만 아니라 텍스트와 같은 다른 유형의 데이터도 통합하는 모습을 상상해보세요! 기대해 봅시다!

# 읽어 주셔서 감사합니다!

<div class="content-ad"></div>

- AI Horizon Forecast 뉴스레터를 구독해주세요!

# 참고 문헌

[1] Das et al., A decoder-only foundation model for time-series forecasting[2023]

[2] Woo et al., Unified Training of Universal Time Series Forecasting Transformers(February 2024)

<div class="content-ad"></div>

[3] Ekambaram et al., Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series (April 2024)

[4] Goswami et al., MOMENT: A Family of Open Time-Series Foundation Models(February 2024)

트랜스포머가 시계열 예측을 혁신할 수 있을까





![CustomizeStableDiffusiontoUnleashYourCreativity](/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_0.png)

# 개요

우리는 AI 시대에 살고 있는 행운아입니다. 인공지능 기술이 급속히 발전하여 요즘에는 더 접근하기 쉬워졌습니다. 대부분의 공개된 모델들은 다양한 범주의 충분한 양의 데이터로 잘 훈련되어 있어서 다양한 범주의 이미지를 생성할 수 있습니다.

그런데 만약 모델이 우리가 생성하고 싶은 특정한 주제를 배운 적이 없다면 어떨까요? 예를 들어, 오늘 아침 만든 케이크의 이미지를 생성하고 싶다고 합시다. 모델은 수많은 종류의 케이크 이미지를 생성할 수 있지만, 오늘 아침 만든 내 케이크 이미지를 만드는 방법을 알지 못합니다.


<div class="content-ad"></div>

0부터 훈련하는 것은 개인에게는 거의 불가능하지만, 모델에 새로운 주제를 통합하는 것은 진화하는 모델 파인튜닝 기술 덕분에 매우 쉽습니다. 2022년부터 트렌드로 떠오르는 최신 세대 모델인 Stable Diffusion은 이미지 생성을 위한 새로운 시대를 열어주고 있습니다.

이 글에서는 현대 기술 LoRA를 사용하여 Stable Diffusion 모델을 파인튜닝하는 단계별 안내를 공유하고자 합니다. 이 연습은 모두가 적절한 장치를 갖추지 않고도 Kaggle 노트북에서 수행할 수 있으므로 누구나 걱정 없이 이 연습을 할 수 있습니다.

구현에 들어가기 전에, Stable Diffusion 개념과 파인튜닝 기술 LoRA에 대해 간단히 알아보겠습니다. 이미 이에 대해 알고 있다면 구현 섹션으로 건너뛸 수 있습니다.

## Stable Diffusion

<div class="content-ad"></div>


![Stable Diffusion](/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_1.png)

안녕하세요! Stable Diffusion은 텍스트와 이미지에서 사실적인 이미지를 생성할 수 있는 생성적 AI 모델입니다. 확산 모델은 이미지 공간이 아닌 잠재 공간에서 마법을 부리기 때문에 낮은 계산 능력이 필요하다는 특징으로 이미지 생성이 대중에게 접근 가능해졌습니다. 누구나 CPU 머신을 이용하여 커피 시간 동안 존재하지 않는 이미지를 생성할 수 있습니다.

HuggingFace¹와 Stable Diffusion Online²과 같은 많은 온라인 Stable Diffusion 플랫폼이 일반 대중과 개발자들을 위해 있습니다. 기계 학습 지식 없이 이미지를 생성할 수 있습니다.

## LoRA (Low Rank Adaption)


<div class="content-ad"></div>

<img src="/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_2.png" />

LoRA는 Stable Diffusion 네트워크의 교차 주의 레이어에 추가 가중치를 부여하는 세밀 조정 방법입니다. 교차 주의 레이어는 도표 2의 노란 블록으로 표시됩니다. 교차 주의 레이어는 이미지 Z^T와 텍스트 τ^θ의 중간 정보를 융합시킵니다. 교차 주의 레이어에 가중치를 추가하면 텍스트 프롬프트와 이미지의 상관 관계를 확장시킵니다. 이것이 LoRA가 Stable Diffusion 모델에 새로운 지식을 도입하는 방식입니다.

수정된 가중치는 더 작은(저랭크) 행렬로 분해됩니다. 작은 행렬은 더 적은 매개변수를 가지고 별도로 저장됩니다. 이것이 LoRA 가중치 파일이 처리 가능한 크기로 유지되지만 기본 Stable Diffusion 모델과 함께 사용되어야 하는 이유입니다.

LoRA의 가중치 크기는 일반적으로 2~200MB 사이입니다. 모델을 공유하고 관리하는 장점입니다. 몇 기가바이트 단위로 전체 모델을 공유하는 대신, LoRA 가중치를 훨씬 작은 크기로 공유함으로써 더 효율적입니다.

<div class="content-ad"></div>

# 환경

이 연습은 다음 환경으로 구성된 Kaggle 노트북에서 실행됩니다:

- NVIDIA Tesla P100 (RAM=16G)
- diffusers-0.30.0.dev0
- Pytorch 2.1.2
- Python 3.10

Kaggle 노트북에는 Python과 PyTorch가 설치되어 있습니다. 우리가 설치해야 할 유일한 라이브러리는 HuggingFace의 Diffusers입니다.

<div class="content-ad"></div>

아래 명령어를 사용하여 소스로부터 Diffusers를 설치할 수 있습니다. 소스로부터 설치하는 것은 라이브러리의 최신 버전을 보장합니다. 경로 /kaggle/working은 Kaggle 런타임의 기본 작업 공간입니다. 개발 환경에 맞게 경로를 조정할 수 있습니다.


%cd /kaggle/working/
!pip install accelerate
!git clone https://github.com/huggingface/diffusers
%cd /kaggle/working/diffusers
!pip install /kaggle/working/diffusers/. -q
%cd /kaggle/working/diffusers/examples/text_to_image
!pip install -r /kaggle/working/diffusers/examples/text_to_image/requirements.txt -q
!pip install --upgrade peft transformers xformers bitsandbytes -q


더 많은 설치 가이드라인은 공식 웹사이트에서 확인할 수 있습니다.

# 실험

<div class="content-ad"></div>

이 연습에서는 모델에 크레용 신짱 피규린을 소개하고자 합니다. 아래 섹션에서는 다음 단계를 진행해 보겠습니다.

## 단계 1: 데이터 수집

![Figure 3](/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_3.png)

우선, 주제의 몇 장의 이미지를 수집해야 합니다. 이 연습에서는 크레용 신짱 피규린의 사진 25장을 수집하여 훈련 데이터로 사용합니다. 데이터 수집을 위해 권장하는 조언은 아래와 같습니다:

<div class="content-ad"></div>

- 이미지 크기를 표준화하세요: 예를 들어, 512x512 크기로.
- 고품질 이미지: 사진은 12M 해상도로 촬영되어야 합니다.
- 주제를 이미지 중앙에 유지하세요.

또한, 모델이 캐릭터의 눈, 헤어스타일, 체형과 같은 일반적인 특징을 학습하도록 훈련 세트에서 가능한 다양한 요소를 다루는 것이 중요합니다. 다시 말해, 우리는 모델이 특정한 의상 스타일(예: 빨간 티셔츠와 노란 반바지)이나 자세(예: 서 있음)이 아니라 크레용신짱 피규린임을 학습하길 원합니다.

훈련 크기가 5, 15, 25인 실험을 진행했습니다. 각 라운드 간 이미지 차이는 10개뿐이지만, 모델의 일반화 정도가 크게 향상되었습니다.

## 단계 2: 기준 평가

<div class="content-ad"></div>

```python
from diffusers import AutoPipelineForText2Image

pipeline = AutoPipelineForText2Image.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
prompt = "크레용신짱 피규어."
image = pipeline(prompt, num_inference_steps=100).images[0]
image.save("baseline.png")
```

팔을 걷어올리고 훈련을 시작하기 전에, 상기한 파이썬 스크립트를 사용하여 파인튜닝하려는 구체적인 피규어를 사전 훈련된 모델이 이미 알고 있는지 확인하고 싶습니다.

- AutoPipelineForText2Image 클래스를 사용하여 사전 훈련된 Stable Diffusion 모델 stable-diffusion-v1–5을 로드합니다.
- 그런 다음 텍스트 프롬프트를 "크레용신짱 피규어."로 설정합니다. 텍스트 정보가 모델에게 직관적으로 전달되도록 텍스트 프롬프트를 간결하게 유지합니다.
- 텍스트 프롬프트와 추론 횟수를 AutoPipelineForText2Image의 인스턴스에 전달하고 생성 프로세스를 수행합니다.

<img src="/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_4.png" />


<div class="content-ad"></div>

이 스크립트는 여러 번 실행되며 생성된 이미지 중 세 개가 그림 4에 표시됩니다. 결과는 미리 훈련된 모델이 인물 캐릭터의 작은 모형 일 수 있지만 '크레용신짱'이라는 접두어가 정확히 어떤 캐릭터를 가리키는지는 알지 못한다는 것을 보여줍니다. 생성된 이미지에서 보이는 제한은 보이지 않는 주제로 모델을 세세하게 조정하는 것이 이니셔티브임을 타당하게 검증합니다.

## 단계 3: 세세한 조정

![이미지](/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_5.png)

새로운 식별자 정의

<div class="content-ad"></div>

훈련용 이미지 몇 장을 수집하는 것 외에도 주제에 대한 새로운 이름을 선택해야 합니다. 텍스트 프롬프트 안에 새 이름이 표시될 때마다 수정된 모델이 새 주제를 가리킨다는 것을 이해하고 이에 맞게 콘텐츠를 생성합니다.

왜 새 이름이 필요한가요? 원래 이름인 크레용신짱이 더 대표적이지 않나요? 이것의 아이디어는 이미 훈련된 기존 이름들과 혼동되지 않는 고유한 이름이 필요하다는 것입니다. 저희 경우에는 그림 그리는 데 사용한 크레용을 암시하는 '크레용'이라는 말이 포함되어 있습니다. 생성된 이미지에는 연관된 텍스트 프롬프트가 크레용신짱을 포함하고 있다면 크레용 관련 콘텐츠가 포함될 수 있습니다.

새 식별자로 무작위 이름을 사용하는 것이 좋습니다. 저는 이 연습에 대해 aawxbc라는 이름을 선택했는데, 거의 기존 이름과 겹치지 않습니다. 다른 독특한 이름을 사용할 수도 있습니다.

<div class="content-ad"></div>

<img src="/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_6.png" />

캐글 노트북에서 작업 공간(/kaggle/working/) 이외에도 일반적으로 사용되는 다른 디렉토리는 /kaggle/input/ 입니다. 여기에는 체크포인트 및 훈련 이미지와 같은 작업에 필요한 입력을 저장합니다. 아래는 train_dreambooth_lora.py 스크립트를 기반으로 한 완전한 훈련 명령입니다.

```js
!accelerate config default
!mkdir /kaggle/working/figurine

!accelerate launch --mixed_precision="fp16" /kaggle/working/diffusers/examples/dreambooth/train_dreambooth_lora.py \
  --mixed_precision="fp16" \
  --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \
  --instance_data_dir="/kaggle/input/aawxbc" \
  --instance_prompt="a photo of aawxbc figurine" \
  --class_data_dir="/kaggle/working/figurine" \
  --class_prompt="a photo of figurine" \
  --with_prior_preservation \
  --prior_loss_weight=1.0 \
  --use_8bit_adam \
  --lr_scheduler="constant" \
  --gradient_checkpointing \
  --enable_xformers_memory_efficient_attention \
  --num_train_epochs=50 \
  --output_dir="/kaggle/working/dreambooth-lora"
```

일부 주요 설정을 살펴보겠습니다:

<div class="content-ad"></div>

- mixed_precision [optional]: 플랫폼에서 지원하는 정밀도를 선택하세요. 옵션은 fp32, fp16 및 bf16이 있습니다.
- class_prompt [optional]: 클래스 데이터를 저장하는 프롬프트와 폴더입니다. 이 실험에서는 새로운 유형의 피규린을 학습하기를 원하기 때문에 클래스 이름은 figurine입니다.
- class_data_dir [optional]: 모델에서 생성된 클래스 이미지를 저장하는 디렉토리입니다. 이 경우 모델은 일반 피규린 이미지를 생성하고 해당 디렉토리에 저장합니다.
- instance_prompt [mandatory]: 새로운 주제에 대한 텍스트 프롬프트를 정의합니다. 형식은 '새로운 이름' '클래스 이름'과 같이 지정됩니다. 예시로 aawxbc figurine, uvhhhl cat 등이 있습니다.
- instance_data_dir [mandatory]: 학습 샘플을 저장하는 디렉토리입니다. 이 연습에서는 이 디렉토리에 이전에 언급된 25개의 샘플을 업로드합니다.
- num_train_epochs [optional]: 훈련할 에폭의 수입니다.

위 단계를 따라 데이터 수집, 라이브러리 설치, 및 훈련을 완료하면 이제 output_dir로 정의된 디렉토리에 저장된 LoRA 가중치 pytorch_lora_weights.safetensors를 찾을 수 있습니다. 가중치 파일의 크기는 3.2 MB로 다루기 쉽습니다.

## 단계 4: 추론 — 새 이미지 생성

```js
from diffusers import AutoPipelineForText2Image

pipeline = AutoPipelineForText2Image.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
pipeline.load_lora_weights("/kaggle/working/dreambooth-lora", weight_name="pytorch_lora_weights.safetensors")

prompt = "aawxbc 피규린의 사진."
image = pipeline(prompt, num_inference_steps=180).images[0]

image.save("aawxbc.png")
```

<div class="content-ad"></div>

로라 가중치를 성공적으로 내보낸 후, 마지막이자 가장 흥미로운 부분으로 넘어갈 수 있습니다: 새 이미지 생성하기. 로라 가중치는 독립적으로 작동하지 않기 때문에 원본 stable diffusion과 로라 가중치 파일 모두를 불러와야 합니다.

Python 스크립트에서는 기준 평가에 사용한 단계들 위에, 추가적인 단계로 LoRA 모델을 불러오는 과정이 있습니다. 함수 `.load_lora_weights()`를 사용하여 디렉토리와 로라 가중치 파일의 이름을 전달하면 됩니다.


![이미지](/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_7.png)


텍스트 프롬프트에는 스크립트에 표시된대로 클래스 이름이 figurine이며 식별자 aawxbc가 포함됩니다. 대응하는 텍스트 프롬프트로 생성된 이미지 두 세트가 도 7과 도 8에 설명되어 있습니다. 세밀 조정 후 모델이 크레용 신짱 피규어를 생성할 수 있는 것을 확인할 수 있습니다.

<div class="content-ad"></div>

<img src="/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_8.png" />

새로운 모델을 추가로 교차 검증할 수 있습니다. LoRA 가중치를 로드하는 줄을 주석 처리하고 텍스트 프롬프트를 그대로 유지하면 됩니다. 원본 안정된 확산 모델은 식별자 aawxbc를 제대로 해석하지 못하는 것을 볼 수 있습니다. 이는 기준 평가와 일치하며 LoRA 모델이 기여하는 새로운 기능을 강조합니다.

# 요약

<img src="/assets/img/2024-08-03-CustomizeStableDiffusiontoUnleashYourCreativity_9.png" />

<div class="content-ad"></div>

작업 개요는 이미지 9에 설명되어 있습니다. 새로운 모델은 LoRA 가중치를 결합하여, 초록색 사각형으로 강조된 새로운 인스턴스 이름인 aawxbc로 크레용신짱 모형의 이미지를 생성할 수 있습니다.

전체 파인튜닝이 간단하다는 것을 느낄 수 있을 것입니다. 우리가 해야 할 일은 충분한 수의 이미지를 수집하고, 새로운 주제를 존재하지 않는 식별자로 지정하는 것 뿐입니다. 이것으로 끝입니다. 모든 어려운 작업은 코드에서 처리됩니다.

항상 읽어 주셔서 감사합니다. 이 글이 도움이 되었으면 좋겠습니다. 어떠한 피드백도 환영하며 감사히 받겠습니다.

# 참고문헌

<div class="content-ad"></div>

[1] https://huggingface.co/spaces/stabilityai/stable-diffusion
[2] https://stablediffusionweb.com/

창의력을 극대화하는 방법 Stable Diffusion 커스터마이징 가이드




요즘 RAG에는 몇 개의 청크(크기도)를 사용해야 할까요? (RAG 아키텍처 아카이브의 다른 변형들은 일단 제외하고 생각해 봅시다).

확실히 더 크고 저렴한 컨텍스트 창을 사용하면 두 가지를 동시에 열 수 있는 가능성이 있습니다.

![링크](/assets/img/2024-08-03-ItstimetoupdatehowwedogenAILLM-basedRAG_0.png)

저는 항상 10x 512 토큰을 사용해 왔었어요 (대부분의 사이트가 권장하는 약 3배 크기보다 훨씬 좋다고 생각합니다).

<div class="content-ad"></div>

요점은:

1. 사용자 요청은 주로 넓은 비교 또는 *목록*을 원합니다. LLM에게 3개의 청크만 반환하는 것은 매우 낮습니다. 이는 중요하지 않은 쿼리의 상당 부분에 대해 거의 쓸모 없는 응답으로 이어질 수 있습니다.

2. 임베딩 기반 벡터 검색 점수에서 매우 높은 의미론적 정확도를 기대하지 않아도 됩니다. 임베딩 일치는 물론 LLM 자체만큼 똑똑하지 않습니다. 이는 순위가 반드시 완벽하지 않으므로 '상위 3개'는 조금 나이브할 수 있습니다.

그리고:

<div class="content-ad"></div>

3. 우리는 LLM에 더 많은 맥락을 제공하고 싶어요. 

하지만 벡터 검색 시 더 큰 청크로 의미를 희석시킬 가능성을 고려해야 합니다.

따라서 청크 크기를 너무 크게 증가시키지는 못해요.

하지만 더 많은 청크를 반환하면 희석 요인이 줄어들 것으로 보입니다.

<div class="content-ad"></div>

LLM 비용을 줄이면, 우리는 청크 크기도 증가시킬 수 있어요. LLM에 충분한 청크를 전달한다면요.

요즘에는 RAG에서 10배 크기의 1K로 훨씬 나은 결과를 얻고 있어요.

(사실, 제가 원하는 건 512 크기의 청크를 기반으로 검색하지만 그 주변에 LLM에 2K 크기의 청크를 반환하는 거예요).

아무튼, 이 1–3 전략은 LLM에게 더 많은 맥락과 콘텐츠가 있는 각 청크(그리고 더 다양한 소스에서 나온 청크)를 가지게 해줘요 (그리고 선택과 불러내기를 할 수 있어요).

<div class="content-ad"></div>

그래도 LLM은 의사 결정 단계에서 정말 잘 작동해. 벡터 검색 보다 확실히 더 나은 결과를 얻어.

비용 중심 팀원들로부터 약간의 저항을 받고 있어, 하지만 내 의견은 비용이 매우 빨리 하락하고 결과가 확연히 향상되고 있다는 점이야.

의견이 있나요?

네 실험은?

LLM 기반 RAG를 활용한 최신 GENAI 기법 소개




<img src="/assets/img/2024-08-03-SecureYourNodejsEnvironmentAStep-by-StepGuidetoUsingAWSSecretsManager_0.png" />

요즘 테크 개발 문화에서는 기술 애플리케이션을 빠른 속도로 개발하는 것이 중요합니다. 때로는 민감한 키토를 보호하는 것을 잊어버리고 경쟁 업체 또는 해커들이 사용할 수 있도록 공개하는 경우가 있습니다. 이로 인해 데이터가 유출될 수 있습니다. 때로는 이를 환경(env) 변수, 구성 세부 정보 및 다른 표기법으로 부르기도 합니다.

이러한 환경 변수를 안전하게 사용하기 위해 AWS는 Secret Manager라는 서비스를 제공합니다.

그럼 Secret Manager가 뭐길래요? 😕

<div class="content-ad"></div>

시크릿 매니저는 당신의 모든 세부사항을 저장하는 은행 금고와 같습니다. 그리고 당신에게 그 금고에 접근할 수 있는 독특하게 디자인된 열쇠를 제공받게 될 것입니다. 당신을 식별할 수 있도록 당신을 위해 생성된 IAM 사용자와 연결될 것입니다.

기능과 사용법에 대한 특징은 몇 가지 있지만 그것들은 유용합니다...

- 시크릿 회전
- 세밀한 정책으로 액세스 관리
- 중앙에서 안전하고 감사할 수 있는 비밀 정보
- 이용한 만큼 지불하기

## 이제 우리가 여기 온 이유에 대해 시작해 봅시다...

<div class="content-ad"></div>

필요 사항: 

- AWS 계정 (없다면 여기서 만들기)
- Node JS (없다면 여기서 설정하기)
- AWS cli (없다면 이 안내에 따라 설치하기)

AWS 콘솔에 로그인하고 시크릿 매니저 서비스로 이동해봅시다.

그 후 "새 시크릿 저장"을 클릭하고 "다른 유형의 시크릿"을 선택한 후 시크릿의 키-값 쌍을 추가해주세요.

<div class="content-ad"></div>

JWT_SECRET: 'DjnenjfbeiKMNJDjkemdknfejfepe3939nckjfejknef=='

![Secure Your Node.js Environment: A Step-by-Step Guide to Using AWS Secrets Manager](/assets/img/2024-08-03-SecureYourNodejsEnvironmentAStep-by-StepGuidetoUsingAWSSecretsManager_1.png)

그런 다음 '알카다브라'와 같은 이름의 secret을 지정하고 저장하세요.

이제 게이트키퍼가 정리되었으니 Node JS를 사용하여 Pathway를 만들어 봅시다.

<div class="content-ad"></div>

기본적인 노드 애플리케이션을 설정하고 aws-sdk npm 모듈을 활용하여 시크릿 매니저의 강력한 기능을 사용할 수 있습니다.

```js
npm install aws-sdk
```

<img src="/assets/img/2024-08-03-SecureYourNodejsEnvironmentAStep-by-StepGuidetoUsingAWSSecretsManager_2.png" />

서버 파일인 app.js 또는 index.js와 같은 애플리케이션의 서버 파일에서 이 파일을 가져옵니다.

<div class="content-ad"></div>

서버를 시작하고 시크릿을 검색하여 응용 프로그램을 안전하게 사용하세요.

여기에요! 🎉 AWS Secret Manager의 도움으로 Node.js 애플리케이션을 포트 녹스로 변신시켰어요. 위험도 큰 능력을 가지고 있기 때문에 비밀을 안전하게 지켜야 해요!

즐거운 코딩 하시고, 여러분의 비밀이 항상 비밀로 유지되기를 바랄게요! 🤫🔐

## 마지막으로

<div class="content-ad"></div>

테이블 태그를 마크다운 형식으로 변경해보세요.

Posts