🌱
LLM 이 자기 생각인 줄 알고 따라가는 가짜 reasoning — Role Confusion 정리
AI 모델은 Role 태그를 확인해서 생각을 정리한다. 이 Role 태그를 사용한 탈옥 기법
#AI
#AISafety
#PromptInjection
총 4개의 글이 있습니다.
AI 모델은 Role 태그를 확인해서 생각을 정리한다. 이 Role 태그를 사용한 탈옥 기법
결론은 모델이 아닌 시스템이 중요하다~
Gemini 3.0이나 sonnet 4.5는 도대체 어떻게 이렇게 길게 대화를 해도 문맥을 계속 기억하는가
대화가 길어지면 바보가 되는데... 얘 혹시 금붕언가? 하고 봤더니 진짜 금붕어였다. AI의 금붕어화를 막기 위한 Context 관리 방법