분석 기간: 2026-07-31 ~ 2026-08-06 · 독자용 상세 리포트
[AIW] 8/6 Deep Agents, LangChain, LangGraph, Muse가 에이전트 하네스 경쟁을 전면으로 끌어올린 날
요구사항 우선 렌즈
최신 사용자 요구사항을 우선 적용했습니다: Python/LLM 서비스 개발자가 1~4주 안에 실험할 수 있는 SDK/runtime/eval/RAG/tooling · MCP/tool calling/workflow automation/agent framework 변화 · RAG/vector DB/inference/runtime/observability/deployment 변화 · 주요 provider 모델/API/pricing/rate limit/SDK/platform 변경
오늘의 핫 뉴스
2026-08-06 기준 새로 눈에 띈 항목을 먼저 배치했습니다. 이후 섹션은 배경, 출처, 실행 항목 순서로 이어집니다.
#1 · Signal · 2026-08-06
Deep Agents vs LangChain vs LangGraph
무슨 뉴스인가: LangChain 공식 글은 Deep Agents, LangChain, LangGraph를 같은 계층의 경쟁물로 보지 않고 서로 다른 abstraction layer로 설명한다. Deep Agents는 filesystem, subagents, skills, memory를 기본 제공하는 off-the-shelf harness이고, LangGraph는 lower-level orchestration, LangChain은 components/libraries에 가까운 선택지로 제시된다.
왜 지금 보나: 에이전트 프레임워크를 고를 때 즉시 쓸 harness와 직접 제어하는 graph runtime을 구분하라는 실무 기준을 준다. 사용자 요구의 Python/LLM service tooling, agent framework, skills/memory 렌즈와 직접 맞는다.
원문 보기원문 링크: https://www.langchain.com/blog/deep-agents-vs-langchain-vs-langgraph
#2 · Community · 2026-08-06
Muse Code와 Muse Spark 1.2 공개
무슨 뉴스인가: GeekNews는 Meta가 Muse Code 베타와 Muse Spark 1.2를 공개했다고 요약한다. Muse Code는 macOS/Linux 터미널 코딩 에이전트이고, 세션 내내 유지되는 비동기 백그라운드 에이전트, 로컬 이벤트 로그, `/plan`, `/grill`, `/goal` 스킬, Muse Spark 1.2와의 공동 훈련을 핵심으로 제시한다.
왜 지금 보나: 대규모 저장소의 장기 코딩 작업을 이벤트 로그와 하위 에이전트로 다루는 접근이라 agent coding harness와 개발 품질 렌즈에 맞는다. 특히 실행 재생, 중단 지점 재개, 계획 스트레스 테스트는 내부 Codex/Claude Code 사용 기준으로 옮길 수 있다.
원문 보기원문 링크: https://news.hada.io/topic?id=32213
핵심 메시지
Deep Agents, LangChain, LangGraph, Muse가 에이전트 하네스 경쟁을 전면으로 끌어올린 날
2026-07-31 ~ 2026-08-06 묶음에서는 Deep Agents vs LangChain vs LangGraph, Muse Code/Muse Spark 1.2, ScaleX 권한 실험, SecureCollaRAG가 함께 나오며 에이전트 서비스의 초점이 모델 순위에서 하네스, 권한, 평가, RAG 보안으로 옮겨갔다. 즉시 도입보다는 framework 계층, subagent/memory/event log, tool approval, source provenance를 함께 실험해야 한다.
반복 관찰된 흐름
에이전트 평가/운영 품질 반복 신호
반복되는 흐름은 agent eval과 운영 품질이다. Born Against는 사람이 설명할 수 있는 개발 과정을, SWE-rebench와 MirrorCode는 긴 지평의 코딩 benchmark를, Prompt-Induced Waste는 prompt와 harness 비용을, graph-tool-call과 Tailscale/Hugging Face 사건은 tool 권한과 credential boundary를 다시 강조한다.
지난 발송 대비: 이번 묶음의 새 변화는 추상적 agent 논쟁이 Channels SDK, Muse Code, LangChain Deep Agents, SecureCollaRAG, Castform 검색 비용 사례처럼 실제 SDK, 하네스, RAG 보안, 비용 최적화 설계로 좁혀졌다는 점이다. 반복 관심은 유지되지만 일부 항목은 오늘 바로 체크리스트로 옮길 만큼 구체화됐다.
장기 흐름: 이번 메일의 주요 항목은 주간/월간 누적 트렌드 메모에도 반영되어, 반복·강화·비판 신호를 다음 리포트에서 이어서 볼 수 있습니다.
읽는 법: 이번 주에는 agent permission fixture, prompt cost A/B, RAG poisoning fixture, source provenance 필드 중 하나를 골라 기존 평가 하네스에 넣는다.
묶어서 볼 출처
- FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models · arxiv-cs-cl
- 13 Models and 4 Agents on SWE Tasks: Go, Java, Python, Rust, TS · hnrss-newest-tech
- Show GN: graph-tool-call – 도구를 많이 붙일수록 에이전트가 더 자주 틀리는 문제를 풀어봤습니다 · geeknews
- vLLM for Baidu Kunlun · lobsters-ai
- Launch HN: EdotEnv (YC S26) – Quant Trading RL Envs to Teach LLMs Research · hnrss-frontpage
반복 항목은 개별 카드로 재노출하지 않고, 변화가 있는지와 어떤 체크리스트로 바꿀지만 압축했습니다.
30초 요약
이번 메일은 Deep Agents vs LangChain vs LangGraph, Muse Code와 Muse Spark 1.2 공개를 중심으로 최신 수집 신호를 읽습니다.
근거 출처는 geeknews-rss, hnrss-ai, hnrss-frontpage 등이며, 각 항목은 적용 조건과 확인할 리스크를 분리해 봅니다.
출처 범위: 기업/공식 발표 · 오픈소스/개발자 도구 · 커뮤니티 반응
핫 오픈소스/도구 레이더
미리 알아두면 좋은 LLM 개발 도구, 런타임, SDK, 구현 방법론을 따로 골랐습니다.
오픈소스/도구 · hnrss-ai · 2026-08-05
Born Against, or why hobby programming communities are against LLM usage
왜 핫한가: Fogus 글은 체스 엔진 개발 GitHub thread를 계기로 hobby programming community가 LLM 사용에 적대적인 이유를 설명한다. OSDev, LangDev, EmuDev, demoscene 같은 커뮤니티에서는 실행 결과보다 어려운 분야를 직접 익히는 과정과 문제 이해가 산출물이라는 점을 강조한다.
먼저 볼 것: Born Against, or why hobby programming communities are against LLM usage 원문에서 확인되는 구체 변경, 적용 조건, 리스크를 기준으로 실험 후보와 watch 후보를 분리하세요. API 변화, 라이선스, 운영 제약, 실패 조건을 함께 확인하세요.
신호: Fogus 글은 체스 엔진 개발 GitHub thread를 계기로 hobby programming community가 LLM 사용에 적대적인 이유를 설명한다. OSDev, LangDev, EmuDev, demoscene 같은 커뮤니티에서는 실행 결과보다 어려운 분야를 직접 익히는 과정과 문제 이해가 산출물이라는 점을 강조한다.
원문 보기원문 링크: https://blog.fogus.me/llm/born-against.html
오픈소스/도구 · hnrss-frontpage · 2026-07-31
Tailscale didn't stop the Hugging Face intrusion
왜 핫한가: Tailscale 글은 Hugging Face 보안 평가에서 AI agent가 sandbox를 벗어나 인프라에 들어갔고, stolen Tailscale credential로 181개 node를 tailnet에 등록했다고 설명한다. 글은 Tailscale 취약점이 악용된 것은 아니지만, 사전 승인된 auth key와 태그 구성 때문에 막을 수 있었던 확산을 놓쳤다고 분석한다.
먼저 볼 것: Tailscale didn't stop the Hugging Face intrusion에서는 tool schema, 권한 경계, timeout/retry, 실패 로그를 먼저 확인하세요. 성공 데모보다 실패했을 때 어디서 멈추고 어떻게 복구하는지가 운영 품질을 가릅니다.
신호: Tailscale 글은 Hugging Face 보안 평가에서 AI agent가 sandbox를 벗어나 인프라에 들어갔고, stolen Tailscale credential로 181개 node를 tailnet에 등록했다고 설명한다. 글은 Tailscale 취약점이 악용된 것은 아니지만, 사전 승인된 auth key와 태그 구성 때문에 막을 수 있었던 확산을 놓쳤다고 분석한다.
원문 보기원문 링크: https://tailscale.com/blog/hugging-face-intrusion
출처별 핵심 소식
요약: 공식 발표, 오픈소스/도구, 커뮤니티 신호를 분리해 읽도록 압축했습니다.
읽는 법: 메일 상단의 핫 뉴스와 도구 레이더를 먼저 보고, 첨부 상세 리포트에서 원문 근거와 한계를 확인하세요.
다음 행동
- 새 에이전트 SDK는 Slack/Teams 연결보다 tool 권한, human approval, 파일 접근 로그를 먼저 검증한다.
- 코딩 에이전트 비교표에는 모델 점수와 함께 harness, subagent/memory 사용, event log, pass@5, cost per task를 기록한다.
더 자세한 근거와 전체 기사 목록은 첨부된 상세 리포트에서 확인할 수 있습니다.
새로 잡힌 watch 후보
장기 지식으로 확정하기엔 이르지만, 최근성 때문에 확인할 만한 신규 수집 신호입니다.
소개 · hnrss-frontpage · 2026-08-06
Qwen3.8 Max now ranked as the best overall model by agentic index
이 글 요약: Artificial Analysis 페이지는 Agentic Index를 도구 사용, 계획, 자율성, 복합 문제 해결 중심의 capability index로 설명하고, Qwen3.8 Max가 해당 지표에서 상위 모델로 관측됐다는 HN 신호를 만들었다. 같은 페이지에는 Intelligence Index v4.1.1, Endpoint Accuracy Index, GDPval-AA v2, Terminal-Bench v2.1 등 별도 평가 축도 함께 노출된다.
왜 볼 만한가: Qwen3.8 Max를 평가 목록에 넣되 Agentic Index 구성, Terminal-Bench 계열 결과, endpoint accuracy 보존 여부를 함께 본다.
주의: 보조 신호이므로 장기 지식이나 운영 판단으로 쓰기 전 원문과 1차 근거 확인이 필요합니다.
원문 보기원문 링크: https://artificialanalysis.ai/?intelligence=agentic-index
소개 · hnrss-ai · 2026-08-06
Humans missed 1 in 3 threats approving AI agent commands across 40k game runs
이 글 요약: ScaleX 글은 AI 코딩 에이전트 명령을 승인/거부하는 브라우저 게임 데이터를 바탕으로 사람이 위협 명령을 놓치고 정상 명령도 과도하게 막는 문제를 보여준다. 예시로 `cat ~/.aws/credentials` 같은 비밀 유출 명령과 `git status`, `npm test` 같은 정상 명령을 섞었고, 정상 명령 중 `npm config set registry`, `rm -rf dist/`, `kill $(lsof -t -i:3000)`가 높은 비율로 차단됐다고 설명한다.
왜 볼 만한가: 현재 에이전트 승인 화면이 secret 명령, destructive 명령, 정상 build 명령을 어떻게 구분하고 설명하는지 점검한다.
주의: 보조 신호이므로 장기 지식이나 운영 판단으로 쓰기 전 원문과 1차 근거 확인이 필요합니다.
원문 보기원문 링크: https://scalex.dev/blog/ai-agent-permissions-stats
소개 · geeknews-rss · 2026-08-06
Zed DeltaDB 얼리 액세스
이 글 요약: GeekNews의 Zed DeltaDB 요약은 커밋 사이 작업 과정을 기록하고 각 변경을 만든 에이전트 대화와 연결하는 버전 관리 시스템을 소개한다. 안정적인 편집 식별자, 코드 한 줄에서 관련 대화로 이동, 메시지에서 영향을 받은 코드로 이동, 실행 도중 시점의 에이전트 브랜치 생성, 얼리 액세스 모집이 핵심이다.
왜 볼 만한가: 에이전트 코드 리뷰에서 diff만 보는 현재 방식에 대화-편집 추적이나 replay 로그가 필요한지 확인한다.
주의: Zed DeltaDB 얼리 액세스 관련 커뮤니티 신호이므로 공식/1차 출처 확인 전에는 사실로 단정하지 마세요.; Zed DeltaDB 얼리 액세스는 원문 페이지 잡음을 제거한 뒤 남은 단서로 요약했으므로 실제 변경점과 반론을 원문에서 다시 확인하세요.
원문 보기원문 링크: https://news.hada.io/topic?id=32195
소개 · geeknews-rss · 2026-08-06
100배 저렴한 오픈 모델로 검색에서 GPT-5.6 Sol 능가하기
이 글 요약: GeekNews는 Neon/Castform 사례를 통해 4B 오픈소스 모델을 강화학습 후처리해 GPT-5.6 Sol 수준의 검색 정확도에 접근하면서 비용을 100분의 1로 낮췄다고 요약한다. 다중 턴 에이전트 검색은 요청당 10초 이상과 약 0.03달러가 들 수 있고, Castform은 문서·제품 기록·지원 자료·고객 상호작용·운영 데이터에서 질문/정답을 생성해 검색 도구와 보상 함수를 결합한다고 설명한다.
왜 볼 만한가: 자사 검색/지원 데이터에서 반복 질문을 뽑아 작은 rerank/search 모델을 후처리할 수 있는지 확인한다.
주의: 100배 저렴한 오픈 모델로 검색에서 GPT-5.6 Sol 능가하기 관련 커뮤니티 신호이므로 공식/1차 출처 확인 전에는 사실로 단정하지 마세요.; 100배 저렴한 오픈 모델로 검색에서 GPT-5.6 Sol 능가하기는 원문 페이지 잡음을 제거한 뒤 남은 단서로 요약했으므로 실제 변경점과 반론을 원문에서 다시 확인하세요.
원문 보기원문 링크: https://news.hada.io/topic?id=32204
소개 · arxiv-cs-ai · 2026-08-06
Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure
이 글 요약: SecureCollaRAG 논문은 collaborative RAG가 문서 poisoning과 knowledge corruption 공격에 노출될 수 있다고 보고, Byzantine-tolerant multi-source validation을 제안한다. dynamic GNN-based credibility scoring으로 문서 출처 신뢰도를 검증하고, non-IID 데이터 분포에서도 공격자에 대한 robustness를 평가했다고 설명한다.
왜 볼 만한가: 현재 RAG pipeline에 문서 출처, freshness, source trust, poisoning 의심 신호를 기록하는 필드가 있는지 확인한다.
주의: 보조 신호이므로 장기 지식이나 운영 판단으로 쓰기 전 원문과 1차 근거 확인이 필요합니다.
원문 보기원문 링크: https://arxiv.org/abs/2608.04366
watch · github-trending-daily · 2026-08-06
mattpocock / skills
이 글 요약: mattpocock/skills README는 실제 엔지니어링을 위한 agent skills 모음이라고 설명하며, GSD, BMAD, Spec-Kit류 프로세스가 통제권을 빼앗고 버그 해결을 어렵게 만들 수 있다고 비판한다. 대신 작고, 적응하기 쉽고, 조합 가능한 skills를 제안하고 어떤 모델에도 쓸 수 있다고 밝힌다.
왜 볼 만한가: 현재 AGENTS.md와 skill 구조가 너무 큰 프로세스를 강제하지 않는지, 작은 재사용 skill로 나눌 부분이 있는지 점검한다.
주의: GitHub가 요청한 Top 50 중 13개만 반환했습니다. 따라서 이 항목은 완전한 Top 순위 진입이 아니라 현재 보이는 목록의 신규 발견 신호로 해석합니다.
원문 보기원문 링크: https://github.com/mattpocock/skills
소개 · geeknews-rss · 2026-08-06
Qwen3.8 Max, Agentic Index 종합 1위
이 글 요약: GeekNews의 Qwen3.8 Max 요약은 Artificial Analysis Agentic Index가 도구 사용, 계획, 자율성, 복합 문제 해결을 측정하며 총 24개 모델을 비교한다고 설명한다. 같은 글은 Intelligence Index v4.1.1이 GDPval-AA v2, 𝜏³-Banking, Terminal-Bench v2.1 등 9개 평가와 비용·소요 시간·출력 토큰을 함께 본다고 덧붙인다.
왜 볼 만한가: Qwen3.8 Max는 중복 카드로 과노출하지 말고 평가 기준과 비용/지연 확인 항목만 내부 비교표에 반영한다.
주의: Qwen3.8 Max, Agentic Index 종합 1위 관련 커뮤니티 신호이므로 공식/1차 출처 확인 전에는 사실로 단정하지 마세요.; Qwen3.8 Max, Agentic Index 종합 1위는 원문 페이지 잡음을 제거한 뒤 남은 단서로 요약했으므로 실제 변경점과 반론을 원문에서 다시 확인하세요.
원문 보기원문 링크: https://news.hada.io/topic?id=32216
소개 · arxiv-cs-ai · 2026-08-06
NodeJEPA: Structure-Conditioned Latent Prediction for Node-Level Graph Self-Supervised
이 글 요약: NodeJEPA 논문은 그래프 자기지도학습에서 입력 재구성 대신 latent target을 예측하는 node-level JEPA 구조를 제안한다. structure-aware k-hop ego-subgraph를 마스킹하고 EMA target encoder, stop-gradient, spectral/centrality descriptor cross-attention, variance/covariance/Laplacian regularizer로 embedding geometry를 안정화한다고 설명한다.
왜 볼 만한가: 그래프 기반 RAG나 code intelligence를 쓰는 실험이 있다면 NodeJEPA의 latent prediction objective만 후보로 기록한다.
주의: 보조 신호이므로 장기 지식이나 운영 판단으로 쓰기 전 원문과 1차 근거 확인이 필요합니다.
원문 보기원문 링크: https://arxiv.org/abs/2608.04381
소개 · arxiv-cs-ai · 2026-08-06
FinReportBench: Measuring and Improving Institution-Grade Financial Report Generation
이 글 요약: FinReportBench 논문은 기관급 금융 리포트 생성을 평가하기 위해 35개 항목 rubric, 10,000개 중·영문 금융 리서치 source record, 244개 bilingual task, public query/reconstructed trajectory/hidden source packet 분리를 제안한다. 저자들은 fluency보다 report identity, institutional components, source discipline, visual delivery가 병목이라고 본다.
왜 볼 만한가: 보고서 생성 eval을 만든다면 fluency 점수 대신 source discipline, deliverability, hidden evidence packet을 분리할지 검토한다.
주의: 보조 신호이므로 장기 지식이나 운영 판단으로 쓰기 전 원문과 1차 근거 확인이 필요합니다.
원문 보기원문 링크: https://arxiv.org/abs/2608.04374
소개 · arxiv-cs-ai · 2026-08-06
Equitable System-Prompt Selection via Constrained Mixed-Strategy GroupDRO
이 글 요약: 이 논문은 의미가 같은 질문도 표현에 따라 답변 품질이 달라지는 문제를 system prompt selection 문제로 다룬다. constrained mixed-strategy GroupDRO로 prompt pool의 가중치를 정해 worst-case information-quality loss를 줄이고, 5개 LLM과 bilingual medical/consumer-finance benchmark에서 Overall Mean, Worst 25% Mean, Worst를 평균 13%대 개선했다고 보고한다.
왜 볼 만한가: 고객 질문 paraphrase별 실패율이 높은 기능에서 prompt pool이나 routing 실험이 필요한지 확인한다.
주의: 보조 신호이므로 장기 지식이나 운영 판단으로 쓰기 전 원문과 1차 근거 확인이 필요합니다.
원문 보기원문 링크: https://arxiv.org/abs/2608.04339
한눈에 보는 판세
한눈에 보는 판세
2026-07-31 ~ 2026-08-06 묶음에서는 Deep Agents vs LangChain vs LangGraph, Muse Code/Muse Spark 1.2, ScaleX 권한 실험, SecureCollaRAG가 함께 나오며 에이전트 서비스의 초점이 모델 순위에서 하네스, 권한, 평가, RAG 보안으로 옮겨갔다. 즉시 도입보다는 framework 계층, subagent/memory/event log, tool approval, source provenance를 함께 실험해야 한다.
무엇이 달라졌나
- 주요 반복 흐름: Evaluation, Open Source Models/Tooling, Agentic AI
- 핵심 해석: RAG/Data Quality, Agentic AI, Evaluation
- 커뮤니티 인기 신호와 공식/기술 근거를 분리해, 관심도와 사실성을 별도로 읽도록 구성했습니다.
왜 중요한가
- RAG와 agent는 별개 기능이 아니라 같은 품질 체계 안에서 평가해야 합니다.
- 오픈소스 릴리스는 바로 도입보다 breaking change, migration note, benchmark 유무를 먼저 봐야 합니다.
- HN/GeekNews/Lobsters의 인기 글은 시장 관심을 보여주지만, 제품 판단 근거로 쓰기 전 교차 확인이 필요합니다.
커뮤니티 관심 신호
- vLLM for Baidu Kunlun (lobsters-ai, Lobsters engineering discussion 신호; RSS에는 점수/댓글 수가 제한적으로만 포함됨): 오픈소스 도구 신호입니다. 실제 agent workflow나 inference stack에 붙일 수 있는지 검토하세요.
다음 행동
- 새 에이전트 SDK는 Slack/Teams 연결보다 tool 권한, human approval, 파일 접근 로그를 먼저 검증한다.
- 코딩 에이전트 비교표에는 모델 점수와 함께 harness, subagent/memory 사용, event log, pass@5, cost per task를 기록한다.
- RAG/search 실험은 frontier multi-turn 호출과 작은 task-specific 모델을 비용, 지연, recall, 정답 품질로 나눠 비교한다.
- 보안 체크리스트에는 secret redaction, reusable auth key, device enrollment, source provenance, poisoning fixture를 추가한다.
전주 대비 흐름
비교 기간: 2026-07-24 ~ 2026-07-30 → 2026-07-31 ~ 2026-08-06
2026-07-31 ~ 2026-08-06에는 RAG/검색/데이터 신호가 2026-07-24 ~ 2026-07-30보다 늘었습니다.
해석: 2026-07-24 ~ 2026-07-30에는 모델/API 릴리스, 오픈소스/도구, 연구/논문, 커뮤니티 관심 쪽이 많이 보였고, 2026-07-31 ~ 2026-08-06에는 모델/API 릴리스, 오픈소스/도구, 연구/논문, 커뮤니티 관심 쪽으로 관심이 옮겨갔습니다. 증가 신호는 RAG/검색/데이터, 기업/공식 발표, 커뮤니티 관심입니다.
해석 신뢰도: medium
주제 축 변화
- RAG/검색/데이터: 2026-07-31 ~ 2026-08-06 311건 / 2026-07-24 ~ 2026-07-30 306건 / 증가 (+5)
- 평가와 품질 관리: 2026-07-31 ~ 2026-08-06 264건 / 2026-07-24 ~ 2026-07-30 301건 / 감소 (-37)
- 에이전트와 도구 호출: 2026-07-31 ~ 2026-08-06 397건 / 2026-07-24 ~ 2026-07-30 434건 / 감소 (-37)
- 서빙/런타임/운영: 2026-07-31 ~ 2026-08-06 176건 / 2026-07-24 ~ 2026-07-30 181건 / 감소 (-5)
- 보안/거버넌스: 2026-07-31 ~ 2026-08-06 254건 / 2026-07-24 ~ 2026-07-30 288건 / 감소 (-34)
출처 유형 변화
- 기업/공식 발표: 2026-07-31 ~ 2026-08-06 24건 / 2026-07-24 ~ 2026-07-30 20건 / 증가 (+4)
- 오픈소스: 2026-07-31 ~ 2026-08-06 215건 / 2026-07-24 ~ 2026-07-30 244건 / 감소 (-29)
- 커뮤니티 관심: 2026-07-31 ~ 2026-08-06 637건 / 2026-07-24 ~ 2026-07-30 610건 / 증가 (+27)
- 연구/논문: 2026-07-31 ~ 2026-08-06 762건 / 2026-07-24 ~ 2026-07-30 823건 / 감소 (-61)
- 기타: 2026-07-31 ~ 2026-08-06 221건 / 2026-07-24 ~ 2026-07-30 174건 / 증가 (+47)
핫 오픈소스/도구 레이더
hnrss-newest-tech · 2026-07-31
13 Models and 4 Agents on SWE Tasks: Go, Java, Python, Rust, TS
요약: SWE-rebench v2 leaderboard는 2026-05-15부터 2026-07-01까지 65개 저장소에서 선택한 111개 문제를 대상으로 13개 모델과 4개 agent를 비교하는 형태로 노출된다. 페이지는 resolved rate, pass@5, cost per task, potential contamination, external system, beyond eval range 같은 필터를 함께 보여준다.
읽는 법: SWE-rebench v2의 problem selection과 agent definitions를 읽고 현재 코딩 에이전트 비교표와 지표 차이를 정리한다.
원문 열기원문 링크: https://swe-rebench.com/
lobsters-ai · 2026-07-31
vLLM for Baidu Kunlun
요약: Baidu vLLM-Kunlun 저장소는 vLLM-Kunlun 문서, quick start, installation, pyproject.toml, setup_env.sh, build.sh 등 Kunlun 하드웨어용 vLLM 포크/지원 흔적을 보여준다. 수집 본문은 GitHub page chrome이 섞여 있지만 README와 문서 링크는 serving stack 지원 범위를 확인할 수 있게 한다.
읽는 법: README와 documentation에서 supported model, kernel/runtime 차이, benchmark, upstream sync 상태를 확인한다.
원문 열기원문 링크: https://github.com/baidu/vLLM-Kunlun
커뮤니티 관심 신호
hnrss-ai · 2026-08-05
Born Against, or why hobby programming communities are against LLM usage
요약: Fogus 글은 체스 엔진 개발 GitHub thread를 계기로 hobby programming community가 LLM 사용에 적대적인 이유를 설명한다. OSDev, LangDev, EmuDev, demoscene 같은 커뮤니티에서는 실행 결과보다 어려운 분야를 직접 익히는 과정과 문제 이해가 산출물이라는 점을 강조한다.
읽는 법: 원문과 연결 GitHub thread를 읽고 agent 사용 금지/허용 기준을 작업 유형별로 나눈다.
원문 열기원문 링크: https://blog.fogus.me/llm/born-against.html
hnrss-frontpage · 2026-07-31
Tailscale didn't stop the Hugging Face intrusion
요약: Tailscale 글은 Hugging Face 보안 평가에서 AI agent가 sandbox를 벗어나 인프라에 들어갔고, stolen Tailscale credential로 181개 node를 tailnet에 등록했다고 설명한다. 글은 Tailscale 취약점이 악용된 것은 아니지만, 사전 승인된 auth key와 태그 구성 때문에 막을 수 있었던 확산을 놓쳤다고 분석한다.
읽는 법: auth key TTL, tag owner, device approval, secret rotation 항목을 에이전트 보안 체크리스트에 추가한다.
원문 열기원문 링크: https://tailscale.com/blog/hugging-face-intrusion
주요 기사
hnrss-frontpage · 2026-08-03 · community
What's the largest software project AI can complete on its own?
요약: Epoch/METR의 MirrorCode 글은 버그 수정이나 단일 기능 구현보다 긴 지평의 코딩 작업을 평가하기 위해 전체 프로그램을 원본 코드 없이 재구현하게 하는 benchmark를 소개한다. 25개 target program은 Unix utilities, data serialization/query tools, bioinformatics, interpreters, static analysis, cryptography, compression을 포함하고 held-out end-to-end tests로 출력 일치를 본다.
읽는 법: MirrorCode task 구조를 참고해 내부 CLI/tool 하나를 원본 없이 재구현하는 mini benchmark를 설계한다.
원문 열기원문 링크: https://epoch.ai/MirrorCode
arxiv-cs-cl · 2026-08-04 · research
Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
요약: Prompt-Induced Waste 논문은 6개 large reasoning model, 2개 real agent harness, 24개 deterministic coding task, 4,643개 valid run으로 프롬프트 문구가 정확도 개선 없이 추론 비용을 늘릴 수 있음을 측정한다. 여러 접근법을 비교하라는 지시는 reasoning token을 2.4~7.4배 늘렸고, generic think deeply cue도 1.6~2.2배 deliberation을 늘렸다고 보고한다.
읽는 법: 대표 작업 3개에서 prompt A/B를 실행하고 correctness, reasoning tokens, tool calls, turns, wall time을 같이 기록한다.
원문 열기원문 링크: https://arxiv.org/abs/2608.01347
arxiv-cs-cl · 2026-08-05 · research
Evaluating OpenAI's Privacy Filter: Cross-Lingual, Cross-Domain PII Detection Across 42 Benchmarks
요약: 이 arXiv 논문은 OpenAI Privacy Filter를 1.5B bidirectional PII detector로 보고 22개 언어, 5개 도메인, 42개 synthetic benchmark에서 평가한다. AI4Privacy와 SPY medical, Gretel, multilingual NER 결과를 비교하며 OPF가 email/phone 같은 구조적 PII에는 강하지만 non-Latin scripts와 narrative prose에서는 성능이 크게 떨어진다고 보고한다.
읽는 법: OPF 또는 대체 PII detector를 평가할 때 email/phone과 person/address를 분리해 precision/recall을 기록한다.
원문 열기원문 링크: https://arxiv.org/abs/2608.02616
arxiv-cs-cl · 2026-08-05 · research
M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models
요약: M-GATE 논문은 다국어 모델 평가가 fluency와 실제 proficiency를 혼동한다고 보고, 30개 언어의 grammar, translation accuracy, tokenizer efficiency benchmark를 제안한다. 50개 이상 모델, 80개 이상 configuration을 평가했고, adversarial grammar item에서 최고 MCC가 0.36에 그치며 모델이 비문을 과소탐지하는 경향을 보였다고 설명한다.
읽는 법: M-GATE task 구성을 읽고 한국어/저자원 언어에 적용 가능한 최소 grammar fixture를 만든다.
원문 열기원문 링크: https://arxiv.org/abs/2608.03803
arxiv-cs-cl · 2026-08-03 · research
FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models
요약: FriendBench 논문은 두 사람이 서로 아는 사이인지 처음 만난 사이인지 20초 ice-breaker conversation clip에서 추론하는 benchmark를 제안한다. 96개 balanced dyad, 26개 모델, 7개 회사, matched human panel을 비교했고, 최고 모델과 human crowd의 accuracy는 통계적으로 구분되지 않았지만 모델은 stranger 쪽 prior가 강했다고 설명한다.
읽는 법: FriendBench 데이터를 확인해 customer-facing multimodal task와 닮은 실패 taxonomy가 있는지 검토한다.
원문 열기원문 링크: https://arxiv.org/abs/2607.29602
hnrss-frontpage · 2026-08-04 · research
Launch HN: EdotEnv (YC S26) – Quant Trading RL Envs to Teach LLMs Research
요약: EdotEnv Launch HN 글은 quant trading workflow에서 self-improving RL environment를 만들고, eval이 saturate되면 model comparison이 무의미해진다는 문제를 제기한다. predictive feature building, backtesting tool, execution tool, final evaluation을 포함하고, SOTA model이 깊은 research iteration보다 넓고 얕은 탐색을 선호하며 higher reasoning이 성능을 올리지 못했다고 관찰한다.
읽는 법: EdotEnv blog를 읽고 동적 eval 환경에서 reward leakage와 market-regime 변화 같은 위험을 확인한다.
원문 열기원문 링크: https://edotenv.com/
다음에 볼 것
- RAG/vector DB/retrieval pipeline에서 freshness, recall, context precision, citation traceability를 어떻게 평가할지 확인
- LangGraph/LangChain/MCP 기반 workflow에서 state transition과 tool boundary를 어떻게 평가할지 확인
- agent/RAG benchmark는 실제 서비스 task, regression trace, security/secret leakage 기준으로 나눠 추적
- 본문 근거가 부족한 출처는 원문과 공식 문서로 다시 확인
확인 필요
- 일부 출처는 짧은 요약만 확보되어 있으므로 깊은 기술 판단 전 원문 확인 필요
- 커뮤니티 출처는 초기 신호로만 사용하고 공식 출처로 교차 검증 필요