공유/도움/개발

kotlin jdsl에서 ElementCollection 컬럼 조건 추가하기

keepbang — Fri, 20 Dec 2024 13:02:28 +0900

코프링으로 개발중에 ElementCollection으로 된 컬럼을 조건으로 조회하는 기능을 개발하던중 여러 여러가지 안되는 상황이 있어서 기록하고자 글을 남긴다...

해결방법은 kotlin-jdsl github 이슈에서 찾았다!!

exists subquery 문의 · Issue #774 · line/kotlin-jdsl

안녕하세요. exists subquery에 대해 문의드립니다. Entity 구조가 아래와 같을 때, @Entity class Notification( @Id val id: Long, @Enumerated(EnumType.STRING) @ElementCollection(fetch = FetchType.EAGER) @CollectionTable(name ...

github.com

엔티티 구조

일단 엔티티 내부에 enum list가 들어가야하는 상황이 있어서 어떻게 넣을까 생각하다가 ElementCollection을 사용하기로했다.

class Entity(
	enumTypes: Set<EnumType>,
    // 이하 생략
) {

....
 
    @ElementCollection(targetClass = EnumType::class)
    @CollectionTable(name = "enum_types", joinColumns = [JoinColumn(name = "entity_id")])
    @Column(name = "enum_type", nullable = false)
    @Enumerated(EnumType.STRING)
    var _EnumTypes : MutableSet<EnumType> = enumTypes.toMutableSet()
        protected set
....

}

이런식으로 enum 목록이 담긴 컬럼을 만들었다. 이렇게하면 테이블이 2개가 생기게 된다.

repository의 jdsl쿼리는 아래처럼 작성했다.

override fun findByEntity(query: FindQuery): Page<Entity> {
        return queryFactory.pageQuery(query.getPageable()) {
            selectFrom(Entity::class)
            where(
                and(
                inFilter(query.enumType, Entity::enumTypes)
                )
            )
        }
    }
    
 inline fun <reified T, R> SpringDataPageableQueryDsl<T>.inFilter(
    value: R?,
    property: KProperty1<T, R?>,
): PredicateSpec? {
    return value?.let { col(property).`in`(it) }
}

inFilter라는 확장함수를 작성해서 만들어봤다.

발생한 에러

org.springframework.dao.InvalidDataAccessResourceUsageException: Multi valued paths are only allowed for the member of operator

대충 접근할수없는 경로라서 에러가 발생하게 된다.

분명이거는 다른사람도 발생했을것이라 생각하고 kotlin-jdsl의 이슈를 찾아보니 역시나 있었다!

변경된 코드

return queryFactory.pageQuery(query.getPageable()) {
    select(entity(Entity::class))
    from(entity(Entity::class))
    join(Entity::enumTypes)
    where(
        and(
            query.enumType?.let { 
                entity(EnumType::class).`in`(it)
            }
        )
    )
}

join을 사용해서 해당 필드에 조인이 걸리게 작성하고 조건절에 Enum class를 넣어서 단수로 조건절을 적용했다.

저부분을 확장함수로 변경해서 사용하기 편하게 만드는건 나중에 따로 해봐야할것같다...

Spring JPA Custom Id Generator 만들기

keepbang — Wed, 6 Nov 2024 14:14:09 +0900

▤ 목차

개요

JPA를 사용할 때 보통 id는 시퀀스 id를 자주 사용합니다.

@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
private Long id;

만약 요구사항으로 "앞에 특정 문자를 포함한 아이디 체계"를 사용해야 한다고 하면 어떻게 해야할까 고민해보다가 내용을 찾고 정리해봤습니다.

IdGeneratorType Annotation

검색을 해보면 GenericGenerator 애너테이션을 사용해서 Generator 구현체와 함께 사용하는 예제들을 많지만 해당 애너테이션은 deprecated 되어있었습니다.

다른 방식으로는 IdGeneratorType으로 애너테이션을 만들어서 사용하는 방법이 있습니다.

내부에는 Generator를 상속 받는 클래스를 받고 있습니다.

해당 애너테이션으로 prefix가 붙는 형식의 id를 만들어보겠습니다.

@IdGeneratorType(PrefixIdGenerator::class)
@Target(AnnotationTarget.FIELD, AnnotationTarget.FUNCTION)
@Retention(AnnotationRetention.RUNTIME)
annotation class PrefixId(
    val name: String,
    val prefix: String = ""
)

방법은 간단합니다.

애너테이션을 만들고 IdGeneratorType에 Generator 구현체를 넣으면 됩니다.

저는 추가적으로 Generator 구현체에서 사용할 파라미터도 같이 추가했습니다.

Generator 구현

이제 Generator를 구현해 보겠습니다.

Generator는 IdentifierGenerator 를 상속 받아 generate 함수를 override 해서 사용하면 됩니다.

애노테이션에서 받은 파라미터들은 구현체 클래스의 프로퍼티로 애너테이션을 받아서 값을 가져올 수 있습니다.

class PrefixIdGenerator(config: PrefixId) : IdentifierGenerator {

    // 1)
    private val prefix: String = config.prefix

    override fun generate(session: SharedSessionContractImplementor, `obj`: Any): Any {
        
        // 2)
        val identifierPropertyName = session.getEntityPersister(obj.javaClass.name, obj).identifierPropertyName

        // 3)
        val query = java.lang.String.format(
            "select %s from %s order by %s desc limit 1",
            identifierPropertyName,
            obj.javaClass.getSimpleName(),
            identifierPropertyName
        )

        val ids = session.createQuery(query, String::class.java)
            .stream()

	// 4)
        val max: Long = ids.findFirst()
            .map { o -> o.toString().replace(prefix, "").toLong() }
            .getOrElse {0L}

	// 5)
        return prefix + (max + 1)
    }
}

프로퍼티로 받은 값을 가져와서 사용 할 수 있습니다.
해당 generator를 사용하는 entity의 아이디 이름을 가져옵니다.
마지막 id값을 가져오기 위한 쿼리문을 생성하고 실행시킵니다.
가져온 아이디값의 prefix제거하고 뒤에 숫자만 가져옵니다.
prefix를 추가해서 마지막 id에 +1을 한 값으로 반환해서 아이디가 적용됩니다.

위에 예제는 auto_increment로 되어있는 id 앞에 prefix를 넣는 방식으로 구현해 봤습니다.

DB를 조회해서 아이디를 만드는 방식이 아닌 유일 아이디 생성기같은걸 만들어서 사용해도 될 것 같습니다.

Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 2 - API 개발

keepbang — Wed, 2 Oct 2024 20:25:16 +0900

▤ 목차

2024.07.31 - [Backend/Spring] - Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 - Flutter

Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 - Flutter

▤ 목차 ‍♂️ Flutter 개발자가 아니라 코드 작성부분은 다소 생략하였습니다.ㅠㅠ Flutter로 하는 OAuth2 로그인 방법Spring security로 OAuth2로그인을 구현 하려고 하면 보통 web으로 로그인 하는게

keepbang.tistory.com

로그인/회원가입 API

이번 글에서는 Flutter에서 호출하는 로그인 / 회원가입 API를 살펴보겠습니다.
이전글을 보셨다면 아시겠지만 사용한 API는 한 개입니다!

API의 프로세스는 다음과 같습니다.

Flutter에서 provider에 따라 로그인을 진행하고 accessToken을 spring 서버로 전달
서버에서 accessToken으로 사용자 정보 요청
1. 여기에서 만약 accessToken이 변형되었다면 사용자 정보를 못가져오고 실패하게 됨
사용자 정보가 성공적으로 조회되면 해당 사용자 데이터가 DB에 저장되어있는지 확인
1. DB에 없을 경우 사용자 생성
토큰 발급 후 응답 보냄

위와 같은 로직으로 구성 되어있습니다. 그러면 하나하나 살펴 보겠습니다

Controller

...

private final OAuthClient oAuthClient;

private final TokenCreate tokenCreate;

@PostMapping("/login/{provider}")
  public ResponseEntity<TokenResponse> login(
      @PathVariable("provider") SocialType type,
      @RequestBody TokenRequest request
  ) {

    OAuth2UserInfo oAuth2UserInfo = oAuthClient.getOAuth2UserInfo(type, request.code());

    TokenResponse response = tokenCreate.getOAuthAccessTokenByUserInfo(type,
        oAuth2UserInfo);
        
    return ResponseEntity.ok().body(response);
}

...

API의 전체적인 구조 입니다. TokenRequest에는 accessToken이 들어가 있고 oAuthClient.getAuth2UserInfo 메소드로 소셜 타입별 사용자 정보를 가져오게 됩니다.

OAuthClient는 소셜 로그인에서 다른 서버와의 연동을 위한 컴포넌트입니다.

TokenCreate는 토큰을 생성하는 기능이 담긴 컴포넌트입니다.

accessToken으로 사용자 정보 요청

@Component
@RequiredArgsConstructor
public class OAuthClient {
  private final WebClient webClient;

  @Value("${spring.security.oauth2.client.provider.google.user-info-uri}")
  private String googleUserUrl;

  @Value("${spring.security.oauth2.client.provider.kakao.user-info-uri}")
  private String KAKAO_USER_URL;
}

OAuthClient에서 사용자 정보를 가져오는건 WebClient를 사용했고 각 provider별 document에 있는 사용자 조회 API를 사용해야합니다.

kakao 사용자 정보 조회

google은 spring boot에 기본값으로 들어가 있습니다.

...
  private JsonNode getUserInfo(String url, String token) {
    Mono<JsonNode> response = webClient.get()
        .uri(url)
        .header("Authorization", "Bearer " + token)
        .retrieve()
        .bodyToMono(JsonNode.class);

    return response.block();
  }
  ...

token에 accessToken을 넣어서 요청하면 유효할 경우 사용자 정보를 가져올 수 있습니다. 가져온 사용자정보는 각 API 응답에따라 파싱해서 사용하면 됩니다.

DB 데이터 확인 & 토큰 발급

tokenCreate.getOAuthAccessTokenByUserInfo 메소드를 사용하면 토큰을 발급 할 수 있다.

...

// 사용자 조회
Optional<User> oUser = userManager.findByEmailAndSocialType(userInfo.getEmail(), type);
User user = oUser.orElseGet(() -> addUser(type, userInfo));

// refreshToken 초기화
String refreshToken = this.createRefreshToken();
this.updateRefreshToken(user,refreshToken);

// 토큰 발급
return new TokenResponse(
    this.createAccessToken(user),
    refreshToken,
    user.getUserKey()
);

...

accessToken으로 가져온 사용자 정보에 email을 기준으로 사용자 존재 유무를 판단합니다. 일단 이부분은 전화번호로도 바꿀수 있을 것 같아요. 그 후 사용자가 존재하지 않으면 새로 DB에 저장을 합니다.
refreshToken도 초기화를 해주고 기존에 존재하던 refreshToken을 업데이트 합니다.
(로그아웃 후 다시 로그인을 하면 refreshToken 유효 기간이 늘어납니다)
그 후 해당 사용자로 토큰을 만들고 응답으로 내보냅니다.

처음 로그인 및 회원가입 기능을 개발해 봤는데 로그인 방식이나 회원가입 방식이 다양해서 그 방법을 고민하느라 시간이 좀 더 걸린거같네요ㅠㅠ...

이 방식이 맞는지는 모르겠지만 진행하면서 만약 취약점같은게 보이면 계속 적용해봐야할것 같습니다!

Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 1 - Flutter

keepbang — Wed, 31 Jul 2024 15:23:19 +0900

▤ 목차

‍♂️ Flutter 개발자가 아니라 코드 작성부분은 다소 생략하였습니다.ㅠㅠ

Flutter로 하는 OAuth2 로그인 방법

Spring security로 OAuth2로그인을 구현 하려고 하면 보통 web으로 로그인 하는게 많이 보입니다. 하지만 kakao developer 문서를 보면 네이티브 앱에서는 리다이렉트 방식을 사용 할 수 없다고 나옵니다.

그래서 공식 문서를 참고하여 프론트(Flutter)와 백엔드(Spring)의 역할을 나눠 개발하기로 했습니다.

Google과 Kakao 로그인 개발을 하기 위해 아래 두 문서를 참고했습니다.

[참고]

Kakao Developers

카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오 로그인, 메시지 보내기, 친구 API, 인공지능 API 등을 제공합니다.

developers.kakao.com

google_sign_in | Flutter package

Flutter plugin for Google Sign-In, a secure authentication system for signing in with a Google account.

pub.dev

프론트 역할
- access token 발급 후 api 호출
- access token 만료 처리
백엔드 역할
- access token으로 사용자 정보 조회 후 로그인 / 회원가입 처리
- token 발급

위 내용을 토대로 시퀀스 다이어 그램을 그려봤습니다.

시퀀스 다이어그램 설명

[flutter] OAuth 로그인(Kakao, Google sdk 사용)
[spring] 로그인 후 받은 access_token으로 application(spring server)에 token 발급 api 요청
[spring] access_token으로 google 및 kakao 사용자 조회 api 호출
[spring] 조회된 사용자로 회원 검증 및 임시 회원가입 및 토큰 발급
[flutter] access_token 만료 처리

Flutter 설정

pubspec.yaml 파일에 sdk 파일을 추가합니다.

dependencies:
...
  kakao_flutter_sdk_user: ^1.2.1
  google_sign_in: ^5.0.7
  
...

그 다음 소셜 로그인을 위한 IOS/Android 세팅을 해야 합니다.

저는 아래 블로그 글을 참고하여 세팅해줬습니다.

[Flutter] Kakao Login ① - 준비

소셜 로그인 구현 세번째는 카카오 로그인 입니다. 세팅방법은 소셜 로그인중에서는 제일 간단하지 싶습니다. Kakao Developers 카카오 API를 활용하여 다양한 어플리케이션을 개발해보세요. 카카오

dalgoodori.tistory.com

[Flutter] Google Login ① - 준비

소셜 로그인 구현 두번째는 구글 로그인 입니다. 파이어베이스를 사용하면 훨씬 간단하지만 파이어베이스 없이 구현해보겠습니다. 먼저 프로젝트를 만들기 위해 Google Cloud Platform 에서 계정의

dalgoodori.tistory.com

Flutter 로그인 코드 작성

카카오 developer 문서나 구글 SDK api 문서를 참고하여 코드를 작성해줍니다.

Future<void> googleLogin() async {
    var googleLoginHelper = new GoogleLoginHelper();

    googleLoginHelper.login()
    .then((accessToken) {
      log('accessToken: $accessToken');

      if (accessToken == null) {
        EasyLoading.showError('로그인/회원가입에 실패했습니다.',
            duration: const Duration(seconds: 3),
            maskType: EasyLoadingMaskType.black,
            dismissOnTap: false);
        return;
      }

      autoLogin(accessToken, LoginPlatform.GOOGLE)
          .then((value) => afterLogin(value))
          .then((value) => googleLoginHelper.logout(accessToken));

    });
  }

Future<void> kakaoLogin() async {
    var kakaoLoginHelper = new KakaoLoginHelper();

    kakaoLoginHelper.login().then((accessToken) {
      log('accessToken: $accessToken');

      if (accessToken == null) {
        EasyLoading.showError('로그인/회원가입에 실패했습니다.',
            duration: const Duration(seconds: 3),
            maskType: EasyLoadingMaskType.black,
            dismissOnTap: false);
        return;
      }

      autoLogin(accessToken, LoginPlatform.KAKAO)
          .then((value) => afterLogin(value))
          .then((value) => kakaoLoginHelper.logout());
    });
}
  
Future<AuthModel> autoLogin(String token, LoginPlatform platform) {
    return repo.login(code: token, platform: platform);
}

// repo ...

  Future<AuthModel> login({required String code, required LoginPlatform platform}) async {
    try {
      Response response = await apiClient.request(
        '/auth/login/${platform.name}',
        options: Options(method: 'POST'),
        data: {'code': code},
      );
      return AuthModel.fromJson(response.data['data']);
    } on DioException catch (ex) {
      log(ex.response.toString());
      String errorMessage = json.decode(ex.response.toString())["errorMessage"];
      throw Exception(errorMessage);
    }
  }

accessToken이 탈취 당할 경우를 대비해서 로그인이 성공했을 때 logout을 통해 accessToken을 만료시킵니다.

이런 식으로 Controller 쪽 코드를 작성해주고 kakao, google 각각 helper 클래스를 생성하여 로그인을 할 수 있도록 구현합니다.

class KakaoLoginHelper {

  Future<String> getKakaoKeyHash() async {
    var key = await KakaoSdk.origin;
    return key;
  }

  Future<String?> login() async {
    var key = await getKakaoKeyHash();
    log('kakaologinHelper + $key');
    if (await isKakaoTalkInstalled()) {
      try {
        OAuthToken token = await UserApi.instance.loginWithKakaoTalk();
        log('카카오톡으로 로그인 성공 : ${token.toString()}');
        return token.accessToken;//토큰 정보
      } catch (error) {
        print('카카오톡으로 로그인 실패 $error');

        // 사용자가 카카오톡 설치 후 디바이스 권한 요청 화면에서 로그인을 취소한 경우,
        // 의도적인 로그인 취소로 보고 카카오계정으로 로그인 시도 없이 로그인 취소로 처리 (예: 뒤로 가기)
        if (error is PlatformException && error.code == 'CANCELED') {
          return null;
        }
        // 카카오톡에 연결된 카카오계정이 없는 경우, 카카오계정으로 로그인
        try {
          OAuthToken token = await UserApi.instance.loginWithKakaoAccount();

          log('카카오계정으로 로그인 성공 : ${token.toString()}');
          return token.accessToken; //토큰 정보
        } catch (error) {
          print('카카오계정으로 로그인 실패 $error');
        }
      }
    } else {
      try {
        OAuthToken token = await UserApi.instance.loginWithKakaoAccount();
        log('카카오계정으로 로그인 성공 : ${token.toString()}');
        return token.accessToken; //토큰 정보

      } catch (error) {
        print('카카오계정으로 로그인 실패 $error');
      }
    }
    return null;
  }

  Future<void> logout() async {
    try {
      UserApi.instance.logout();
    } catch (error) {
      print('카카오 로그인 실패 $error');
    }
  }

}

...

class GoogleLoginHelper {

  final GoogleSignIn googleSignIn = GoogleSignIn();

  Future<String?> login() async {
    try {
      final GoogleSignInAccount? googleSignInAccount = await googleSignIn
          .signIn();

      final GoogleSignInAuthentication googleSignInAuthentication = await googleSignInAccount!
          .authentication;

      print(googleSignInAuthentication.accessToken);

      return googleSignInAuthentication.accessToken;
    } catch (error) {
      print(error);
    }
  }

  Future<void> logout(String? accessToken) async {
    await revokeToken(accessToken!);

    await googleSignIn.signOut();
    print('User signed out');
  }

  Future<void> revokeToken(String token) async {
    final response = await http.post(
      Uri.parse('https://oauth2.googleapis.com/revoke'),
      headers: {'Content-Type': 'application/x-www-form-urlencoded'},
      body: 'token=$token',
    );

    if (response.statusCode == 200) {
      print('Token revoked successfully');
    } else {
      print('Failed to revoke token');
    }
  }

}

flutter는 여기까지 마무리하고 login 함수에서 호출하고 있는 API를 다음 블로그 글에서 만들어 보겠습니다.

2024.10.02 - [Backend/Spring] - Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 2 - API 개발

Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 2 - API 개발

▤ 목차 이전글2024.07.31 - [Backend/Spring] - Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 - Flutter Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 - Flutter▤ 목차 ‍♂️ Flutter 개발자가

keepbang.tistory.com

Java 불변 객체(immutable object)

keepbang — Thu, 16 May 2024 17:22:17 +0900

불변 객체?

객체의 상태가 변경되지 않는 객체. 변경이 불가능한 객체를 말한다.
Java에서는 final 키워드를 사용하여 불변 객체를 만들 수 있다.

불변 객체의 사용 이유

객체가 변경되어도 항상 새로운 객체를 반환하기 때문에 여러 쓰레드가 동시에 한 객체에 접근해도 안전하다.
디버깅이나 예측 가능성이 높아지고 메서드 실행시 사이드 이펙트를 예방할 수 있다.
변경되지 말아야할 필드값이 존재할 경우 사용가능(JPA)
함수형 프로그래밍으로 사용 될 수 있다.

코드로 알아보는 불변 객체

Person.class

public class Person {
    public String name;
    public Age age;

    public Person(String name, Age age) {
        this.name = name;
        this.age = age;
    }

    public Age getAge() {
        return age;
    }

    @Override
    public String toString() {
        return "Person{" +
                "name='" + name + '\'' +
                ", age=" + age +
                '}';
    }
}

Age.class

public class Age {
    private int age;

    public Age(int age) {
        this.age = age;
    }

    public void setAge(int age) {
        this.age = age;
    }

    @Override
    public String toString() {
        return "Age{" +
                "age=" + age +
                '}';
    }
}

Main.class

public class Main {

    public static void main(String[] args) {
        Age age = new Age(20);
        Person kim = new Person("kim", age);
        Person lee = new Person("lee", age);
        System.out.println("kim = " + kim);
        System.out.println("lee = " + lee);

        lee.getAge().setAge(21);
        System.out.println("kim = " + kim);
        System.out.println("lee = " + lee);

    }
}

Person클래스는 불변객체가 아니기때문에 중간에 한 객체의 나이를 변경했을때 다른 객체의 나이도 같이 변경이 된다.

kim과 lee는 같은 객체(age)를 생성자를 통해 받았다. 자바에서는 전달받은 변수의 값을 복사(call by value)해서 가져오는데 만약 객체일 경우 그 객체의 참조값을 복사하여 가져온다. 그러므로 age의 값인 20이 들어가는게 아닌 age 인스턴스 변수의 참조값이 들어가게 되고 그 참조값을 참조하게 된다. 그렇기 때문에 해당 참조값이 기르키는 곳의 값을 두 객체가 서로 공유하기 때문에 때문에 21로 변경했을 때 두 객체 모두 변경된 것이다.

이런 변경의 전파를 막고 사이드 이펙트가 발생하지 않게 하려면 어떻게 해야 할까?

나이를 입력할때 서로 다른 객체를 새로 생성해서 추가하면된다.

Person kim = new Person("kim", new Age(20));
Person lee = new Person("lee", new Age(20));

이렇게 하면 두 객체를 같은 값을 가지지만 서로 다른 참조값을 가지고 있으므로 사이드 이펙트가 발생하지 않는다.

하지만 개발을 하다보면 모두가 이런식으로 개발을 하는게 아니다. 그렇기 때문에 컴파일 단계에서부터 오류를 발생시켜 사이드 이펙트를 막아야한다.

이런식으로 필드값을 final로 선언하여 Age 클래스를 불변객체로 만들어주면 된다.

이렇게 하면 필드값 수정이 불가능하게되고 컴파일단계에서 setter를 사용할 수 없게된다. 값의 변경은 새로운 객체를 반환해 줌으로써 반환된 객체로 변경을 시도 할 수 있다.

public class ImmutableAge {
    private final int age;

    public ImmutableAge(int age) {
        this.age = age;
    }

    // 새로운 객체를 반환함.
    public ImmutableAge withAge(int newAge) {
        return new ImmutableAge(newAge);
    }

    @Override
    public String toString() {
        return "Age{" +
                "age=" + age +
                '}';
    }
}

public static void main(String[] args) {
        ImmutableAge immutableAge = new ImmutableAge(20);
        Person kim = new Person("kim", immutableAge);
        Person lee = new Person("lee", immutableAge);
        System.out.println("kim = " + kim);
        System.out.println("lee = " + lee);

        lee.setAge(21);
        System.out.println("kim = " + kim);
        System.out.println("lee = " + lee);
}

불변 객체를 사용해서 명확한 의미와 기능의 전달을 할 수 있게 되었다.

Person 클래스에 set 메서드를 사용하지 않고 Person 객체를 반환하는 메소드를 사용 할 수도 있다. 이럴 경우 반환된 객체를 대입하는 로직이 필요하다.

public class Person {

...

    public Person withAge(int newAge) {
        return new Person(name, new ImmutableAge(newAge));
    }
    
...
}

...

lee = lee.withAge(21);

이러한 불변 객체의 새로운 객체를 반환하는 형태는 함수형 프로그래밍에서 자주 사용된다.

아래는 사용자목록의 나이를 특정값으로 변경하는 로직이다.

// given
Person person1 = new Person("person1", new ImmutableAge(20));
Person person2 = new Person("person2", new ImmutableAge(20));
Person person3 = new Person("person3", new ImmutableAge(20));

List<Person> selectedList = List.of(person1, person2, person3);

// when
List<Person> changedList = selectedList.stream()
        .map(person -> person.withAge(21))
        .toList();

// then
System.out.println("변경 전========");
selectedList.forEach(System.out::println);

System.out.println("변경 후========");
changedList.forEach(System.out::println);

만약 객체를 반환하지 않는다면 map에서 새로운 객체를 생성하는 로직을 작성해야 하지만 객체를 반환하기때문에 람다식으로 작성 할 수 있게되었다.

불변 설계가 필요한 경우

모든 클래스를 불변으로 만든다면 안정적인 코딩이 가능하지만 코드가 복잡해 질수도있고 여러 사람들과 작업을 진행 할 대 제약사항이 많이 발생할 수 있다. 그렇기 때문에 불변 설계가 필요한지 고민해보고 필요한곳에 사용하는것이 중요하다.

이커머스 서비스에서 동시성 문제 처리해보기

keepbang — Wed, 8 May 2024 11:10:47 +0900

동시성이란?

여러 작업(스레드)이 공통된 한가지 자원에 동시에 접근하는 것

이런 상황에서 주로 발생하는 동시성 문제는 아래와 같다.

경쟁 상태(Race Condition) : 두 개 이상의 스레드가 동시에 공유 자원에 접근하고 수정을 시도할 때 발생한다. 예상치 못한 결과가 발생(DB 일관성이 깨짐)하거나 잘못된 데이터를 조회할 수 있다.
교착 상태(Deadlock) : 두 개 이상의 스레드가 서로 다른 자원을 기다리면서 대기하고 있는 상황을 말한다. 서로 다른 스레드가 소유한 자원을 기다리며 멈추어 있다.

이커머스 서비스에서 발생 할 수 있는 동시성 문제

재고 갱신시 동시성 문제 : 여러 사용자가 동시에 상품을 구매할 경우, 재고 갱신 과정에서 동시성 문제가 발생할 수 있다. 10명의 사용자가 동시에 같은 상품을 구매할때 상품 재고가 5개밖에 없다면 5명의 사용자는 구매가 안되거나 환불 처리가 되야한다.
포인트 사용시 동시성 문제 : 하나의 사용자 계정으로 여러 상품을 주문할 경우 포인트 차감 과정에서 동시성 문제가 발생할 수 있다. 잔고가 부족하면 주문이 실패해야한다.
장바구니 추가 동시성 문제 : 만약 중복된 요청이 들어올 경우 들어온 순서대로 요청이 처리 되어야 한다.

동시성 문제 해결 방법

Lock 사용

Mysql을 사용할 경우 update을 할 때 베타락이 걸리게 된다. 베타락이 걸리게 되면 다른 트랜젝션에서 읽기/쓰기 작업 모두 불가능 함으로 update문으로 동시성 문제를 처리할 수 있다. 대신, 읽기와 쓰기 모두 락이 걸리기때문에 작업이 오래걸릴경우 다른 기능에서 해당 데이터를 읽을때 timeout이 발생할 수 있다.
낙관적 락
- 충돌이 자주 일어나지 않을경우 적용 할 수 있다.
- 동시 요청중 한건의 요청만 성공해야하는 케이스에 적합.
- 데이터에 락을 거는것이 아닌 읽는 시점과 수정 시점의 version을 확인해서 동시성문제를 해결하는 방식으로 성능적으로 좋다고할 수 있다.
비관적 락
- 충돌이 자주 일어날때 적용 할 수 있다.
- 데이터베이스에 안정성을 부여하고 데이터의 일관성을 유지할 수 있다.
- 데이터를 락을 걸어서 다른 트랜젝션에서 접근이 불가능하기 때문에 만약 해당 데이터가 여러 기능에서 사용하고 있다면 요청에 대한 응답시간이 길어질 수 있다. -> 응답시간이 길어지면 해당 서비스를 사용하는 고객의 이탈이 발생하게 된다.
분산 락
- 분산 환경에서 여러 서버나 클라이언트간에 락을 공유해서 동시성 문제를 해결 할 수 있다.
- Redis의 Redisson을 통해 락을 획득하고 반납하면서 처리할 수 있다.
- DB가 아닌 redis(또는 기타 다른 도구)를 사용함으로써 DB에 부하가 적어진다.

재고 차감 테스트 진행

테스트 시나리오

상품 100개 추가
101명이 동일한 상품 구매
재고는 0이 되고 실패한 주문이 한개가 존재해야한다.

void inventory_concurrency_test() throws Exception {
    // given
    long productId = 1L;
    int numberOfThreads = 101;
    ExecutorService executorService = Executors.newFixedThreadPool(numberOfThreads);
    CountDownLatch latch = new CountDownLatch(numberOfThreads);

    // when - 주문
    ConcurrentLinkedQueue<Integer> failedOrder = new ConcurrentLinkedQueue<>();
    for (int i = 0; i < numberOfThreads; i++) {
      int finalI = i;
      executorService.execute(() -> {
        try {
          OrderItemRequest request = new OrderItemRequest(
              1L,
              1L,
              1
          );

          inventoryService.orderItemDeduction(request);

        } catch (Exception e) {
          failedOrder.add(finalI);
        }
        latch.countDown();
      });
    }

    latch.await();
    // then
    ProductResponse productResponse = getProductResponse(productId);
    assertThat(productResponse.stock()).isZero();
    assertThat(failedOrder).hasSize(1);
}

[결과]

상품 개수가 남아있으면 안되는데 87개가 남아있다.

낙관적락 적용

락을 적용할 entity에 version을 추가하고 사용하는 메서드에 Lock 어노테이션을 적용한다.

// entity
//....
@Version
private Long version;
//....

// JpaRepository
@Lock(LockModeType.OPTIMISTIC)
Optional<Inventory> findByProductId(Long productId);

[결과]

재고가 하나도 감소하지 않았다.(정상 동작하지 않음...)

비관적락 사용

version을 사용하지 않고 Lock 어노테이션만 적용해서 사용할 수 있다.

// JpaRepository
@Lock(LockModeType.PESSIMISTIC_READ)
Optional<Inventory> findByProductId(Long productId);

[결과]

테스트가 성공한 걸 볼 수 있다.

분산락 사용

비관적락을 사용하게 되면 데이터에 대기상태가 발생되어 DB 부하가 발생하게되는데 이런 부분을 DB가 아닌 redis등을 사용해서 부하를 분산 할 수 있다.
java에서는 redisson을 사용해서 분산락을 사용 할 수 있다.
키를 사용해서 락을 획득하고 비즈니스로직을 수행한 다음 락을 반환하는 프로세스를 가진다.

// dependency 추가
// https://mvnrepository.com/artifact/org.redisson/redisson-spring-boot-starter
implementation 'org.redisson:redisson-spring-boot-starter:3.29.0'

// spring aop를 사용하여 DistributedLock 어노테이션을 사용하는 메소드에 Lock을 건다.
// 파라미터로 lockName을 받아서 lock key로 사용한다.
@Around("@annotation(com.hhplus.commerce.app.common.redis.DistributedLock)")
public Object lock(final ProceedingJoinPoint joinPoint) throws Throwable {
  MethodSignature signature = (MethodSignature) joinPoint.getSignature();
  Method method = signature.getMethod();
  DistributedLock distributedLock = method.getAnnotation(DistributedLock.class);

  String key = REDISSON_LOCK_PREFIX + CustomSpringELParser.getDynamicValue(signature.getParameterNames(), joinPoint.getArgs(), distributedLock.key());
  RLock rLock = redissonClient.getLock(key);  // (1)

  try {
    boolean available = rLock.tryLock(distributedLock.waitTime(), distributedLock.leaseTime(), distributedLock.timeUnit());  // (2)
    if (!available) {
      return false;
    }

    return aopForTransaction.proceed(joinPoint);  // (3)
  } catch (InterruptedException e) {
    throw new InterruptedException();
  } finally {
    try {
      rLock.unlock();   // (4)
    } catch (IllegalMonitorStateException e) {
      log.info("Redisson Lock Already UnLock {} {}", method.getName(), key
      );
    }
  }
}

// DistributedLock 사용 부분
@DistributedLock(key = "#lockName")
public void orderItemDeduction(String lockName, OrderItemRequest request) {
  // 비즈니스 로직
}

[결과]

테스트가 성공하긴 하지만 속도가 비관적락을 사용했을때보다 느리다
외부 도구에 의존하는 형태의 코드라서 통합테스트로 진행을 했는데 외부와의 의존관계가 형성되어 테스트하기가 약간 힘들다는 단점이 있는것 같다.

Gradle + Nexus Repository library 사용 / Nexus 개인정보 암호화

keepbang — Thu, 14 Mar 2024 13:58:08 +0900

Spring으로 개발을 하다보면 공통된 기능들을 따로 모아서 여러 프로젝트에 사용한다. 그럴때 많이 사용하는게 Nexus이다.

이번 글에서는 아래 두가지에 대해 알아볼려고 한다.

Nexus 개인정보 암호화 하는 방법
Nexus에 올린 library를 가져와서 사용하는 방법

개발환경

macOS(M2 Pro)
IntelliJ IDEA
gradle 8.1.1

이 방법을 적용하면서 번거로운 부분도 있었다.

전체 프로젝트에 적용이 된다.
패스워드나 아이디, url이 변경될때마다 값을 바꿔줘야한다.
프로젝트를 처음 받는 사람은 설정하기 까다롭다.

그냥 이런 방법도 있구나~~하는 마음으로 봐주시길 바랍니다.

1. Nexus 개인정보 암호화 하는 방법

Nexus library를 사용하기 위해서 build.gradle에 nexus정보를 입력해서 사용게 되는데 private한 정보가 누출될 가능성이 있으므로 암호화하여 관리하는 방안이 필요하다.

gradle에서 nexus library를 가져오기 위해서 아래 코드블럭처럼 build.gradle을 작성해주면 된다.

buildscript {

	...

    repositories {
        gradlePluginPortal()
        maven {
            url "https://plugins.gradle.org/m2/"
        }
        maven {
            url "$nexusBaseUrl/maven-releases/"
            allowInsecureProtocol = true // nexus url이 http일 경우 추가
            credentials {
                username = "$nexusId"
                password = "$nexusPassword"
            }
        }
    }
    
    dependencies {
    	classpath 'com.keepbang:common-library:1.0.0'
    }
}

nexusBaseUrl, nexusId, nexusPassword 는 global로 관리하여 코드상에 노출되는 개인정보는 없다.

global로 관리되는 정보의 위치는 macOS 기준 ~/.gradle에 init.gradle 파일을 생성해서 값을 입력해두면 된다.

init.gradle 파일

allprojects {
	project.ext.set('nexusBaseUrl', 'https://keepbang.nexus.co.kr/repository')
	project.ext.set('nexusId', 'nexusId')
	project.ext.set('nexusPassword', 'nexusPassword')
}

이렇게 하면 모든 gradle file에서 위에 입력한 nexus 정보들을 가져가 쓸 수 있다.

하지만 위와 같이 사용하면 프로젝트 코드에 직접적인 노출은 피할 수 있지만 저기에 적혀있는 개인 정보도 가리고 싶어졌다...

gradle 자격증명 플러그인으로 Nexus 정보 암호화하기

명령어를 사용하여 gradle 프로젝트를 생성한다.

% mkdir gradle-credentials-plugin-tutorial
% cd gradle-credentials-plugin-tutorial
% gradle init

build.gradle, setting.gradle에 자격증명 플러그인을 추가해야 addCredentials명령어를 사용 할 수 있다.

plugins {
    id 'nu.studer.credentials' version '3.0'
}

gradle addCredentials 명령어를 사용해서 ~/.gradle 디렉토리에 gradle.encrypted.properties 파일로 입력한 내용을 암호화해서 만들어진다.

암호화된 파일의 값을 사용하기 위해서 일단 init.gradle 파일도 아래처럼 변경해 둔다.

gradle addCredentials --key nexusUrl --value 'https://keepbang.nexus.co.kr/repository'
gradle addCredentials --key nexusId --value 'nexusId'
gradle addCredentials --key nexusPassword --value 'nexusPassword'

[gradle.encrypted.properties]
nexusUrl=ZlSkq1CQaJUSUofILEU/dr0l0qL2u2qWB3QVno9dHgulM3v3rVBxG5cWtU7fnAVW
nexusId=MBz7bWcyIuz29IxmqXmfnA\=\=
nexusPassword=8IYzQf9R016gbkzuzVCcFg\=\=

[init.gradle]
allprojects {
	project.ext.set('nexusBaseUrl', gradle.ext.nexusUrl)
	project.ext.set('nexusId', gradle.ext.nexusId)
	project.ext.set('nexusPassword', gradle.ext.nexusPassword)
}

2. Nexus에 올린 library를 가져와서 사용하기

위에서 이미 library를 가져와서 사용하는 방법을 적었지만 암호화된 정보를 사용하기 위해선 따로 설정을 추가해줘야한다.

settings.gradle 파일에 암호화된 키값을 가져와서 gradle 변수로 등록만 해주면된다.

[setting.gradle]

...

plugins {
    id 'nu.studer.credentials' version '3.0'
}
ext {
    def nexusUrl = credentials.forKey('nexusUrl')
    def nexusId = credentials.forKey('nexusId')
    def nexusPassword = credentials.forKey('nexusPassword')
    gradle.ext.nexusUrl = nexusUrl
    gradle.ext.nexusId = nexusId
    gradle.ext.nexusPassword = nexusPassword
}

...

참고

자격증명 플러그인

GitHub - etiennestuder/gradle-credentials-plugin: Gradle plugin to store and access encrypted credentials for use in Gradle buil

Gradle plugin to store and access encrypted credentials for use in Gradle builds. - etiennestuder/gradle-credentials-plugin

github.com

gradle install

Gradle | Installation

Install the Gradle build tool on Linux, macOS or Windows, either manually or using a package manager like SDKMAN! or Homebrew.

gradle.org

github issue label 모든 repository에 한번에 적용하기

keepbang — Mon, 6 Nov 2023 16:23:26 +0900

회사에서 ci 작업을 진행하던 중 issue label을 적용시켜야 하는 상황이 생겨서 label을 적용하는 스크립트와 내용을 공유하고자 한다.

github 조직에서 관리자 권한은 issue label 을 한 번에 적용시킬 수 있을 거라 생각해서 찾아보니 처음 repository를 생성할 때 적용시키는 것만 있었다.

Set the labels that will be included when a new repository is created in this organization.

그래서 더 찾아보니 cmd로 api를 날려서 label을 적용 할 수 있는 github-label-sync 라는걸 찾았다!

필요한건 3가지 정도가 필요하고 위에서 말한 github-label-sync 는 단일 repository만 적용 가능하길래 모든 repository에 적용할 수 있도록 쉘 스크립트를 작성했다.

1. github-label-sync 는 npx로 구동되기 때문에 npx가 설치되어 있어야 한다.

2. public 은 상관없지만 private repository를 가져오려면 github token이 필요하다.

3. label 정보가 담겨있는 json 파일이 필요하다.

위에서 말한 3가지가 준비되면 내가 적용하고자 하는 repository에 모두 적용할 수 있다.

1. label 정보가 담겨있는 json 파일을 작성하기

[
  {
    "name": "resolved",
    "color": "008672",
    "description": "이슈 해결"
  },
  {
    "name": "bug",
    "color": "d73a4a",
    "description": "버그 수정"
  },
  {
    "name": "enhancement",
    "color": "a2eeef", 
    "description": "기능 추가 및 개선"
  },
  {
    "name": "test",
    "color": "cfd3d7", 
    "description": "테스트 및 테스트 코드 작성"
  },
  {
    "name": "release",
    "color": "e4e669",
    "description": "Released Product"
  },
  {
    "name": "staging",
    "color": "5319e7",
    "description": "staging server"
  }
]

위와 같이 적용하고자 하는 label 이름과 설명, 색상등을 입력하고 저장해 둔다.

2. Repository list 받아오기

50개가 넘어가는 repository를 다 한 번씩 적용하기에는 무리인 듯싶어서 repository list를 받아서 처리하기로 했다.

아래 api를 사용하면 repository 목록을 받아올 수 있다.

curl -u username:{github_token} https://api.github.com/orgs/{organization_name}/repos\?per_page\=500 | jq '.[].name' | sort >> repositories_name.txt

해당 organization에 권한이 있는 repository들을 불러와서 파일로 생성해 준다.

api 뒤에 per_page를 넣지 않으면 default 값인 30으로 들어가서 30개까지만 나온다.

위 명령어로 실행하면 큰따옴표가 포함된 텍스트파일이 만들어지는데 해당 파일을 열고 큰따옴표들을 없애준다.

3. 스크립트 실행하기

위에서 만들어진 파일 2개를 한 경로에 두고 아래 스크립트를 만들어서 실행한다.

#!/bin/bash

for repo in `cat ./repositories_name.txt`
do
    npx github-label-sync --access-token {github_token} --labels ./labels.json {organization_name}/$repo
    echo "$repo label create complated!"
done

label이 적용하기까지 좀 시간이 걸려서(1초 정도?) 기다리다 보면 다 적용이 된 걸 볼 수 있다.

Spring boot 3 JUnit test java.lang.NoSuchMethodError 'parseQualifiedMethodName' 이슈 해결

keepbang — Wed, 6 Sep 2023 17:48:02 +0900

junit test를 진행할 때 given/when/then 형태로 테스트 작성을 많이 한다.

이때 입력 데이터를 다양하게 받고 싶을 때 아래와 같이 사용하곤한다.

  private static Stream<Arguments> testParameter() {
    return Stream.of(
        Arguments.arguments("test", 1, new TestObject(1)),
        Arguments.arguments("test", 2, new TestObject(2))
    );
  }

  @ParameterizedTest
  @MethodSource("testParameter")
  void test(String arg1, Integer arg2, TestObject testObject) {
   ...
  }

이슈 사항

이번에 Spring boot 3 로 변경하고 ParameterizedTest와 MethodSource를 사용하여 위와같이 썻는데 에러가 나왔다!

'java.lang.String[] org.junit.platform.commons.util.ReflectionUtils.parseQualifiedMethodName(java.lang.String)'
java.lang.NoSuchMethodError: 'java.lang.String[] org.junit.platform.commons.util.ReflectionUtils.parseQualifiedMethodName(java.lang.String)'
Suppressed: org.junit.platform.commons.PreconditionViolationException: Configuration error: You must configure at least one set of arguments for this @ParameterizedTest
        at org.junit.platform.commons.util.Preconditions.condition(Preconditions.java:299)
        at org.junit.jupiter.params.ParameterizedTestExtension.lambda$provideTestTemplateInvocationContexts$5(ParameterizedTestExtension.java:98)
        at java.base/java.util.stream.AbstractPipeline.close(AbstractPipeline.java:323)
        ....

에러내용으로 볼 때 parseQualifiedMethodName 이라는 method가 없어서 에러가나오는거같다.

실제로 에러에 출력된 메소드로 들어가보면 해당 메소드가 빨간색으로 표시된다.

MethodArgumentsProvider.java -> getFactoryMethodBySimpleOrQualifiedName

해결

일단 해당 메소드는 MethodSource에 아무런 인자를 안넣거나 Argument 메소드를 넣을 때만 발생한다.

위에 메소드 위쪽 메소드를 보면 그건 사용 가능한것으로 보여서 그 메소드를 실행하는 곳을 가보니 클래스를 지정해서 사용하면 되는것으로 보인다.

메소드의 실행 과정을보면 아래와 같다.

getFactoryMethod -> looksLikeAFullyQualifiedMethodName -> getFactoryMethodByFullyQualifiedName

1. getFactoryMethod 호출

2. looksLikeAFullyQualifiedMethodName 에서 메소드 이름 확인

3. 메소드 이름에 #이 포함되어있으면 true return

4. getFactoryMethodByFullyQualifiedName 메소드 실행

getFactoryMethodByFullyQualifiedName 이 메소드를 탈려면 MethodSource에 class path까지 입력해야한다.

  private static Stream<Arguments> testParameter() {
    return Stream.of(
        Arguments.arguments("test", 1, new TestObject(1)),
        Arguments.arguments("test", 2, new TestObject(2))
    );
  }

  @ParameterizedTest
  @MethodSource("com.demo.user.dto.UserDtoTest#testParameter")
  void test(String arg1, Integer arg2, TestObject testObject) {
   ...
  }

사용방법은 MethodSource("classPackagePath.className#ParameterMethodName") 이렇게 사용하면 된다.

원인

원인은 버전문제인듯하다!

찾아보니 gradle 버전이 업데이트 되어있고 gradle에서도 이슈로 등록되어 있었다.

8.1 RC 1: Regression in JUnit5 parameterized tests · Issue #24429 · gradle/gradle

Current Behavior Tests with @ParameterizedTest and @MethodSource no longer works, throwing java.lang.NoSuchMethodError: 'java.lang.String[] org.junit.platform.commons.util.ReflectionUtils.parseQual...

github.com

프로젝트에 gradle버전을 바꿔봤는데 또 에러가남... 일단 해결 방법을 알았으니 위에 방법대로 해야겠다.

나중에 프로젝트만들때에는 처음부터 gradle버전을 최신버전으로 해야할듯싶다.

[가상면접 사례로 배우는 대규모 시스템 설계] 처리율 제한 장치

keepbang — Thu, 12 Jan 2023 10:35:31 +0900

가상면접 사례로 배우는 대규모 시스템 설계 책에서 4장 처리율 제한 장치에 대한 내용을 정리

처리율 제한 장치

처리율 제한 장치는 서버에서 특정 임계치를 정해놓고 해당 임계치를 넘는 요청이 클라이언트나 서비스에서 들어오면 해당 요청을 중단시키는 역할을한다.

처리율 제한 장치를 사용하는 이유는 무엇일까?

Dos공격에 의한 자원 고갈을 방지
비용 절감 효과.
서버 과부하를 막음.

사용하는 서버나 시스템 규모에 따라서 처리율 제한 장치의 알고리즘이나 설계가 달라질 수 있다.

따라서 아래에 요구사항에 따라 처리율 제한 장치를 어떻게 사용할 지 정해야 한다.

사용하는 시스템에 따른 처리율 제한 장치의 요구사항을 정리한다.

시스템 규모나 환경, 제어 규칙, 제한 장치의 위치, 제한된 요청의 알림 여부등의 내용들이 포함 되어 있어야 한다.
처리율 제한 장치를 어디에 둘것인가?

클라이언트는 요청이 쉽게 위변조가 가능하기도 하고 모든 클라이언트의 요청을 통제하는 것도 어려울 수 있어서 서버측에 구현하는 것이 올바르다고 생각한다.

서버에서 구현하는 방법으로는 클라이언트와 서버 사이에 미들웨어를 만들어서 구현하는 방법과 API서버에 구현하는 방법이 있다.

마이크로서비스에서는 API 게이트웨이라고 불리는 컴포넌트에 구혀노디는데 API 게이트웨이는 처리율 제한, ssl종단, 사용자 인증, ip허용 목록 관리등을 지원하는 완전 위탁관리형 서비스이다.

만약 서버측에서 모든것을 구현한다고하면 알고리즘 선택은 다양하게 할 수 있다. 하지만 3자가 제공하는 게이트웨이를 사용한다면 알고리즘 선택이나 처리방법이 제한 될 수 있다.
처리율 제한 알고리즘 선택
- 토큰 버킷
- 누출 버킷
- 고정 윈도 카운터
- 이동 윈도 로그
- 이동 윈도 카운터

처리율 제한 알고리즘

토큰 버킷 알고리즘

지정된 용량을 갖는 버킷을 지정해 놓고 사전 설정된 양의 토큰이 주기적으로 추가된다.
설정된 양을 초과해서 채워지지는 않는다.
요청이 하나 처리될때마다 토큰이 하나씩 사용되며 토큰이 없다면 해당 요청은 버려진다.
이 토큰 버킷 알고리즘은 버킷 크기와 토큰 공급률이라는 두개의 인자가 존재한다.
버킷 크기 : 버킷에 담을 수 있는 토큰의 최대 개수
토큰 공급률 : 초당 버킷에 공급되는 토큰 수
통상적으로는 API엔드포인트마다 별도의 버킷을 설정함
장점
- 구현이 쉽다
- 메모리 사용 측면에서 효율적이다
- 짧은 시간에 집중되는 트래픽도 처리가 가능하다
단점
- 버킷 크기와 토큰 공급률을 적절하게 튜닝하는 것이 까다로운 일이 된다.

누출 버킷 알고리즘

누출 버킷은 토큰 버킷과 비슷하지만 처리율(처리되는 사이즈)이 고정되어 있다는 점이 다르다.
보통 FIFO큐로 구현된다.
요청이 도착하면 큐에 쌓아두고 지정된 시간마다 큐에 있는 요청을 꺼내서 처리한다.
만약 큐가 가득 차 있으면 새로운 요청은 버려진다.
버킷 크기 : 큐 사이즈와 같은 값. 처리될 항목들이 보관됨.
처리율 : 지정된 시간당 몇개의 항목을 처리할 지 지정하는 값, 초 단위초 표현
장점
- 큐의 크기가 제한되어 있어서 메모리 사용량 측면에서 효율적이다.
- 고정된 처리율로 안정적인 출력이 필요할 때 적합하다.
단점
- 단시간에 많은 트래픽이 몰리는 경우 요청들이 쌓이게 되고 그 요청들이 처리되지 않으면 새로운 요청은 버려지게 된다.
- 토큰 버킷과 마찬가지로 두 인자를 튜닝하기 까다로울 수 있다.

고정 윈도 카운터 알고리즘

타임라인을 고정된 윈도로 나누고 임계치를 둬서 임계치 만큼 요청을 처리하는 알고리즘이다.
카운터를 사용하는데 요청이 들어올때마다 카운터를 1씩 증가시키고 카운터가 임계치를 넘으면 새로운 요청은 지정된 시간이 될때가지 버려지게 된다.
지정된 시간이 되면 카운터를 초기화 한다.
장점
- 메모리 효율이 좋고 이해하기 쉽다.
- 특정한 트래픽 패턴을 처리하기에 적합하다.

단점
- 윈도 경계 부분에서 많은 트래픽이 몰리게 되면 기대했던 시스템의 처리 한도보다 더 많은 양의 요청을 처리하게 된다.
  
  ex) 1분당 최대 5개의 요청을 처리하는 시스템에서 10시 1분 30초부터 2분까지 5개의 요청이 처리되었고 10시 2분부터 2분 30초까지 5개의 요청이 들어왔다.
  윈도 위치를 변경해서 10시 1분 30초부터 1분을 살펴보면 10시 2분 30초까지 10개의 요청이 처리된다.

이동 윈도 로깅 알고리즘

위에 고정 윈도 카운터 알고리즘의 단점을 해결한 방식이다.
요청의 타임스템프를 추적하고 특정 시간마다 새로운 윈도를 시작한다. 타임스템프는 보통 레디스의 정렬 집합같은 캐시에 보관한다.
새 요청이 들어오면 만료된 타임스템프는 제거한다. 만료된 타임스템프는 현재 윈도가 시작된 시간보다 전에 들어온 타임스템프를 말한다.
새로운 요청의 타임스템프를 로그에 추가한다.
로그의 크기가 허용치보다 작거나 같으면 시스템에 전달한다, 그렇지 않으면 처리를 거부한다.
장점
- 어느 순간의 윈도(시간 간격)를 봐도 처리 되는 요청의 수는 동일하다.
단점
- 거부된 요청의 타임스템프도 보관되기 때문에 메모리 측면에서 효율적이지 않다.

이동 윈도 카운터 알고리즘

위에서 설명한 두 윈도 알고리즘을 결합한 알고리즘으로 특정 시간 간격에 처리율을 계산해서 요청을 처리한다.
현재 1분간 요청 수 + 직전 1분간의 요청 수 * 이동 윈도와 직전 1분이 겹치는 비율
장점
- 짧은 시간에 몰리는 트래픽에도 잘 대응할 수 있다.
- 메모리 효율이 좋다
단점
- 직전 시간대에 도착한 요청이 균등하게 분포되어 있다고 가정한 상태에서 추정치를 계산하기 때문에 다소 느슨하다.

생각해 볼 수 있는 이슈들

처리율 제한 장치에서 발생하는 카운터 정보는 어디에 저장되는가?

데이터 베이스는 디스크 접근 때문에 느려서 사용하기가 어렵고 메모리상 접근하는 캐시가 바람직하다고 생각한다.
대표적으로 redis가 있는데 처리율 제한 장치를 구현할 때 자주 사용되는 메모리 기반 저장장치이고 INCR과 EXPIRE라는 두가지 명령어를 지원한다.

INCR : 메모리에 저장된 카운터값을 1 증가시킨다.
EXPIRE : 카운터에 타임아웃값을 설정한다. 설정된 시간이 지나면 카운터는 자동으로 삭제된다.

처리가 제한된 요청들은 어떻게 처리되는가?

사용자가 429응답(too many requests)을 보낼 수 있고, 나중에 처리하기 위해 큐에 저장 할 수도 있다.

HTTP 응답 헤더에 정보를 추가해서 클라이언트에 보낼 수 있다.
- X-Ratelimit-Remaining: 윈도 내에 남은 처리 가능 요청의 수
- X-Ratelimit-Limit: 매 윈도마다 클라이언트가 전송할 수 있는 요청의 수
- X-Ratelimit-Retry-After: 한도 제한에 걸리지 않으려면 몇 초 뒤에 요청을 다시 보내야 하는지 알림.
분산환경에서의 구현

경쟁 조건(race condition)
- 비슷한 시간대에 요청이 들어온 경우 발생
- 널리 알려진 해결책으로는 락이 있지만 시스템 성능을 떨어뜨릴 수 있다.
- 루아 스크립트와 레디스의 정렬 집합 자료구조를 사용해서 해결 할 수 있다.
동기화(synchronization)
- 처리율 제한 장치 서버를 여러대에 두게 되면 동기화가 필요해진다.
- 고정 세션을 사용해서 같은 클라이언트 요청은 같은 처리율 제한장치로 보내도록 할 수 있지만 확장 가능하지 않고 유연하지 않는다.
- Redis와 같은 중앙 집중형 데이터 저장소를 써서 해결할 수 있다.

모니터링을 통한 확인
- 채택된 처리율 제한 알고리즘이 효과적인지 확인
- 정의한 처리율 제한 규칙이 효과적인지 확인

공유/도움/개발

kotlin jdsl에서 ElementCollection 컬럼 조건 추가하기

엔티티 구조

발생한 에러

변경된 코드

Spring JPA Custom Id Generator 만들기

개요

IdGeneratorType Annotation

Generator 구현

Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 2 - API 개발

이전글

로그인/회원가입 API

Controller

accessToken으로 사용자 정보 요청

DB 데이터 확인 & 토큰 발급

Spring boot 3.x OAuth2(Google, Kakao) 로그인/회원가입 구현 1 - Flutter

Flutter로 하는 OAuth2 로그인 방법

시퀀스 다이어그램 설명

Flutter 설정

Flutter 로그인 코드 작성

다음글

Java 불변 객체(immutable object)

불변 객체?

불변 객체의 사용 이유

코드로 알아보는 불변 객체

불변 설계가 필요한 경우

이커머스 서비스에서 동시성 문제 처리해보기

동시성이란?

이커머스 서비스에서 발생 할 수 있는 동시성 문제

동시성 문제 해결 방법

Lock 사용

재고 차감 테스트 진행

테스트 시나리오

낙관적락 적용

비관적락 사용

분산락 사용

Gradle + Nexus Repository library 사용 / Nexus 개인정보 암호화

개발환경

1. Nexus 개인정보 암호화 하는 방법

gradle 자격증명 플러그인으로 Nexus 정보 암호화하기

2. Nexus에 올린 library를 가져와서 사용하기

참고

github issue label 모든 repository에 한번에 적용하기

1. label 정보가 담겨있는 json 파일을 작성하기

2. Repository list 받아오기

3. 스크립트 실행하기

Spring boot 3 JUnit test java.lang.NoSuchMethodError 'parseQualifiedMethodName' 이슈 해결

이슈 사항

해결

원인

[가상면접 사례로 배우는 대규모 시스템 설계] 처리율 제한 장치

처리율 제한 장치

처리율 제한 알고리즘

토큰 버킷 알고리즘

누출 버킷 알고리즘

고정 윈도 카운터 알고리즘

이동 윈도 로깅 알고리즘

이동 윈도 카운터 알고리즘

생각해 볼 수 있는 이슈들